[논문 리뷰] NAIS-Net: Stable Deep Networks from Non-Autonomous Differential Equations

Marco Ciccone, Marco Gallieri외 3명|arXiv (Cornell University)|2018. 04. 19.

Advanced Memory and Neural Computing참고 문헌 46인용 수 26

한 줄 요약

NAIS-Net은 시간 불변 비자율 동역학계에서 유도된 깊은 잔차 신경망 아키텍처로, 각 처리 단계에 입력에서의 스킵 연결을 통해 전역 점근적 안정성을 강제한다. 이는 패턴에 따라 처리 깊이가 변하는 것을 가능하게 하며, ResNet과 비교해 일반화 갭을 최대 50% 감소시키고, 무한한 전개 길이에서도 안정적이고 리프시츠 입력-출력 맵을 유지한다. 완전연결 및 합성곱 레이어에 대해 안정성 강화 가중치 제약을 효율적으로 적용한다.

ABSTRACT

This paper introduces Non-Autonomous Input-Output Stable Network(NAIS-Net), a very deep architecture where each stacked processing block is derived from a time-invariant non-autonomous dynamical system. Non-autonomy is implemented by skip connections from the block input to each of the unrolled processing stages and allows stability to be enforced so that blocks can be unrolled adaptively to a pattern-dependent processing depth. NAIS-Net induces non-trivial, Lipschitz input-output maps, even for an infinite unroll length. We prove that the network is globally asymptotically stable so that for every initial condition there is exactly one input-dependent equilibrium assuming $tanh$ units, and incrementally stable for ReL units. An efficient implementation that enforces the stability under derived conditions for both fully-connected and convolutional layers is also presented. Experimental results show how NAIS-Net exhibits stability in practice, yielding a significant reduction in generalization gap compared to ResNets.

연구 동기 및 목표

• 자기주도 동역학계의 한계를 해결하기 위해, 입력에 독립적인 고정점로 수렴하는 깊은 네트워크의 문제를 스킵 연결을 통한 비자율성 도입으로 해결한다.
• 패턴에 따라 처리 깊이가 변하는 입력에 대해 전역 점근적 안정성을 보장함으로써, 다양한 처리 깊이에서 안정적인 학습 및 추론을 가능하게 한다.
• tanh 및 ReLU 활성화 함수에서 안정성을 위한 충분조건을 도출하여, 유한한 입력-출력 맵과 증분 안정성을 보장한다.
• 스토케스틱 최적화에서 효율적인 가중치 제약을 적용하여, 파rameter 수를 늘리지 않고도 ResNet보다 10~20배 더 깊은 네트워크를 구현한다.
• CIFAR-10 및 CIFAR-100에서 일반화 성능을 향상시키고, ResNet과 비교해 일반화 갭을 감소시킴을 입증한다.

제안 방법

• 각 처리 블록이 전개된 단계마다 입력을 스킵 연결로 직접 받는 비자율 동역학계를 도입하여, 시스템을 입력에 의존적으로 만든다.
• 리아푸노프 분석을 통해 전역 점근적 안정성을 위한 충분조건을 유도하며, tanh 유닛의 경우 정확히 하나의 입력에 의존하는 평형점을 보장한다.
• ReLU 유닛의 경우 증분 안정성을 확립하여, 유한한 입력 차이에 대해 출력 차이가 유한하게 유지됨을 보장한다.
• 스토케스틱 최적화 하에서 완전연결 및 합성곱 레이어의 가중치 행렬에 안정성 제약을 강제하기 위한 재투영 방법을 제안한다.
• 추론 시 패턴에 따라 다를 수 있는 정지 기준을 도입하여, 활성화의 변화가 임계값 이하로 떨어지면 전개를 중단함으로써 입력에 따라 다른 깊이를 가지도록 한다.
• 각 블록에 대해 시간 불변이며 공유 가중치를 가지는 아키텍처를 사용하고, 깊이와 안정성의 균형을 위해 적응적으로 전개한다.

실험 결과

연구 질문

• RQ1 입력 패턴에 따라 처리 깊이가 변하면서도 안정성을 유지하는 깊은 잔차 신경망을 설계할 수 있는가?
• RQ2 잔차 신경망에 비자율 동역학을 통합하여 입력에 의존하는 수렴과 고정점 행동을 피할 수 있는가?
• RQ3 tanh 및 ReLU 활성화 함수를 갖는 잔차 신경망에서 전역 점근적 안정성을 보장하는 수학적 조건은 무엇인가?
• RQ4 무한한 전개 길이에서도 안정적이고 리프시츠 입력-출력 맵을 유지할 수 있는가?
• RQ5 일반화 갭 감소 측면에서, 표준 ResNet과 비교해 안정성 제약을 강제하는 것이 얼마나 효과적인가?

주요 결과

• NAIS-Net은 테스트 정확도는 비슷하나, CIFAR-10 및 CIFAR-100에서 ResNet과 비교해 일반화 갭을 최대 50% 감소시킨다.
• 비자율성과 안정성 조건을 강제함으로써, 무한한 전개 길이에서도 안정적이고 리프시츠 연속적인 입력-출력 맵을 달성한다.
• tanh 유닛의 경우, 정확히 하나의 입력에 의존하는 평형점을 보장하여 예측 가능하고 안정적인 동역학을 확보한다.
• ReLU 유닛의 경우, 증분 안정성을 보이며, 작은 입력 차이에 대해 모든 레이어에서 출력 차이가 유한하게 유지됨을 보여준다.
• 안정적이고 적응적인 전개 덕분에, 파rameter 수를 늘리지 않고도 원래 ResNet보다 10~20배 더 깊은 네트워크를 구성할 수 있다.
• 정성적 분석 결과, 이미지의 복잡도와 콘텐츠(예: 질감, 색상, 객체 크기)가 최종 처리 깊이를 결정하며, 더 복잡한 입력은 더 깊은 처리를 받는다.