[논문 리뷰] Recurrent Ladder Networks

Isabeau Prémont-Schwarz, Alexander Ilin외 4명|arXiv (Cornell University)|2017. 07. 28.

Generative Adversarial Networks and Image Synthesis인용 수 11

한 줄 요약

이 논문은 메시지 전파 동역학을 시간에 따라 전개함으로써 반복 추론과 시간적 모델링을 가능하게 하는 Ladder 네트워크의 순환적 확장인 순환 래더 네트워크(RLadder)를 소개한다. 이 아키텍처는 층과 시간 단위 간의 하향식 복원, 상향식 인코딩, 그리고 횡방향 연결을 결합하여 비디오 모델링, 음악 생성, 지각적 군집화 작업에서 최신 기술 수준의 성능을 달성하며, 준지도 학습에서 뛰어난 성과와 노이즈가 있는 입력에 대한 강건성을 확보한다.

ABSTRACT

We propose a recurrent extension of the Ladder networks whose structure is motivated by the inference required in hierarchical latent variable models. We demonstrate that the recurrent Ladder is able to handle a wide variety of complex learning tasks that benefit from iterative inference and temporal modeling. The architecture shows close-to-optimal results on temporal modeling of video data, competitive results on music modeling, and improved perceptual grouping based on higher order abstractions, such as stochastic textures and motion cues. We present results for fully supervised, semi-supervised, and unsupervised tasks. The results suggest that the proposed architecture and principles are powerful tools for learning a hierarchy of abstractions, learning iterative inference and handling temporal information.

연구 동기 및 목표

• 계층적 잠재변수 모델에서 반복 추론을 지원하는 딥 러닝 아키텍처를 개발하는 것.
• Ladder 네트워크 프레임워크를 시간적 의존성과 순차적 데이터를 처리할 수 있도록 확장하는 것.
• 하나의 순환 아키텍처 내에서 저수준 복원, 중간 수준 군집화, 고수준 분류 등의 다수의 추상화 수준을 동시에 학습할 수 있도록 하는 것.
• 다중 수준 감독과 메시지 전파 동역학을 활용하여 준지도 학습 및 비지도 학습 과제에서 성능을 향상시키는 것.
• 비디오 데이터에서 운동 및 질감 신호를 활용한 지각적 군집화에 대해 순환 메시지 전파의 효과성을 입증하는 것.

제안 방법

• RLadder는 각 시간 단계에서 인코더 및 디코더 셀 스택을 통해 전체 상향식 및 하향식 전파를 수행하는 순환 아키텍처를 사용한다.
• 각 시간 단계 t에서 레이어 l의 인코더 셀은 아래 레이어로부터의 입력(el−1(t)), 이전 시간 단계의 디코더 출력(dl(t−1)), 그리고 자신의 이전 상태(sl(t−1))를 수신하며, 함수 fs,l을 통해 상태를 갱신한다.
• 인코더 출력 el(t)은 수직으로 다음 레이어로 전달되며, 수평으로 다음 시간 단계로 전달된다.
• 레이어 l의 디코더 셀은 현재 인코더 출력 el(t)과 위 레이어의 디코더 출력(dl+1(t))을 사용하여 함수 gl을 통해 출력 dl(t)를 계산한다.
• 다양한 추상화 수준에서의 손실을 가중합으로 조합하여 네트워크를 훈련한다: 입력 수준에서의 복원, 중간 수준에서의 세그멘테이션, 최상위 수준에서의 분류.
• 다양한 수준의 목표를 통합함으로써 완전 지도, 준지도, 비지도 훈련을 지원하며, 시간 단계 간 반복적 정교화를 구현한다.

실험 결과

연구 질문

• RQ1 Ladder 네트워크의 순환적 확장이 시간 단계 간 반복 추론을 효과적으로 모델링할 수 있는가?
• RQ2 RLadder 아키텍처가 비디오 예측 및 음악 생성과 같은 시간적 모델링 과제에서 성능을 향상시키는가?
• RQ3 RLadder가 운동 신호 및 확률적 질감과 같은 고차원 추상화를 활용해 지각적 군집화를 학습할 수 있는가?
• RQ4 다중 수준 감독(복원, 세그멘테이션, 분류)이 준지도 설정에서 학습 효율성과 정확도를 어떻게 향상시키는가?
• RQ5 복잡하거나 노이즈가 많은 입력 환경에서 비순환 대비 순환 아키텍처가 훈련을 안정화시키는가?

주요 결과

• Brodatz 질감 MNIST 데이터셋에서 RTagger는 5만 개의 레이블된 예제를 사용해 0.80 ± 0.01(AMI 점수)의 세그멘테이션 정확도를 달성하며, Tagger 및 기준 컨볼루션 네트워크를 능가했다.
• 단지 1,000개의 레이블된 예제만을 사용하는 준지도 설정에서 RTagger는 분류 오차 22.6 ± 6.2%를 기록했으며, 기준 ConvNet의 88% 오차보다 뚜렷이 우수했다.
• Moving MNIST 데이터셋에서 RTagger는 운동 신호를 활용해 객체 세그멘테이션에 대해 평균 AMI 점수 0.75를 기록했으며, 효과적인 지각적 군집화를 입증했다.
• RTagger 모델은 반복 과정을 거치며 안정적인 훈련 진전을 보였고, 성능이 시간이 지남에 따라 향상되어 효과적인 반복 추론을 나타냈다.
• 비순환 Tagger 모델과 비교해 RTagger가 더 뛰어난 성능을 보였으며, Moving MNIST 과제에서 3개의 시드 중 2개에서 Tagger가 성공적으로 훈련되지 못한 반면 RTagger는 안정적인 성능을 보였다. 이는 순환 아키텍처가 시간적 모델링에서의 우수성을 입증한다.
• 고수준 분류와 저수준 복원 과제의 공동 최적화가 수렴 속도 향상과 일반화 성능 향상으로 이어져, 추상화 수준 간 상호 이점이 있음을 입증했다.