[논문 리뷰] Deep Predictive Coding Networks

Rakesh Chalasani, José C. Prı́ncipe|arXiv (Cornell University)|2013. 01. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 33

한 줄 요약

이 논문은 시간에 따라 변화하는 신호에서 맥락에 민감하고 희박한 특징 추출을 가능하게 하는 계층적 생성 모델인 딥 예측 코드 네트워크(DPCN)를 제안한다. 이 모델은 상향 피드백을 통해 잠재 표현의 사전 확률를 동적으로 조정하며, 구조적 잡음에 대한 강건성을 향상시키고 선형 동적 시스템에서 희박한 상태를 위한 새로운 추론 절차를 통해 고수준의 시각적 특징을 학습한다. 비디오 데이터를 대상으로 검증된 결과, 잡음 하에서 객체 형상의 군집화가 뛰어나게 향상되었다.

ABSTRACT

The quality of data representation in deep learning methods is directly related to the prior model imposed on the representations; however, generally used fixed priors are not capable of adjusting to the context in the data. To address this issue, we propose deep predictive coding networks, a hierarchical generative model that empirically alters priors on the latent representations in a dynamic and context-sensitive manner. This model captures the temporal dependencies in time-varying signals and uses top-down information to modulate the representation in lower layers. The centerpiece of our model is a novel procedure to infer sparse states of a dynamic model which is used for feature extraction. We also extend this feature extraction block to introduce a pooling function that captures locally invariant representations. When applied on a natural video data, we show that our method is able to learn high-level visual features. We also demonstrate the role of the top-down connections by showing the robustness of the proposed model to structured noise.

연구 동기 및 목표

• 고정된 사전 확률가 깊이 학습에서 데이터 맥락에 적응할 수 없는 한계를 해결하기 위해.
• 맥락적 및 시간적 정보에 기반해 사전 확률를 경험적으로 조정하는 계층적 생성 모델을 개발하기 위해.
• 상향 피드백을 활용해 구조적 잡음이 존재하는 상황에서도 데이터 표현의 강건성을 향상시키기 위해.
• 동적 시스템을 위한 새로운 추론 절차를 통해 비디오 시퀀스에서 희박하고 국소적으로 불변하는 특징을 추출하기 위해.
• 객체 인식과 같은 작업에 적합한 고수준의 시각적 특징 학습을 가능하게 하기 위해 게리(Greedy) 방식의 계층별 비지도 학습을 통해.

제안 방법

• 계층적 마르코프 구조에서 잠재 상태를 추론하기 위해 상향 및 하향 연결을 갖춘 일반화된 상태공간 모델을 사용한다.
• 표준 희박 코딩에서 흔히 발생하는 불안정성 문제를 줄이기 위해 선형 동적 시스템에서 희박한 상태를 추출하는 새로운 추론 절차를 사용한다.
• 연속된 특징 패치를 결합하여 국소적으로 불변한 표현을 학습하는 풀링 함수를 도입한다.
• 특징 추출 블록을 깊이 있는 계층으로 쌓기 위해 게리 방식의 계층별 비지도 학습을 적용한다.
• 추론 과정에서 고차원 레이어의 정보를 활용해 저차원 레이어의 사전 확률를 조절함으로써 강건성을 향상시킨다.
• 각 레이어의 상태가 인접한 레이어에만 의존하는 마르코프 체인으로 모델을 구성하여 효율적인 추론을 보장한다.

실험 결과

연구 질문

• RQ1 깊이 있는 생성 모델이 맥락적 및 시간적 데이터에 기반해 잠재 표현의 사전 확률를 동적으로 조정할 수 있는가?
• RQ2 상향 피드백은 구조적 잡음이 존재하는 상황에서 특징 표현의 강건성을 어떻게 향상시키는가?
• RQ3 제안된 희박한 상태 추론 절차는 시간에 따라 변화하는 비디오 시퀀스에서 안정적이고 구분 가능한 특징을 추출할 수 있는가?
• RQ4 계층적 구조는 원시 비디오 입력으로부터 고수준의 추상적 시각적 특징을 어느 정도 학습할 수 있는가?
• RQ5 상향 조절의 통합은 잡음이 많은 비디오 시퀀스에서 서로 다른 객체 클래스 간의 분리 능력을 향상시키는가?

주요 결과

• DPCN 모델은 자연적인 비디오 시퀀스에서 고수준의 시각적 특징을 성공적으로 학습하여 상위 레이어의 원인 요소에서 객체 형상의 명확한 군집화를 가능하게 하였다.
• 하향 추론만을 사용할 경우, 산점도에서 겹치는 군집을 보이며 비디오 시퀀스에서 객체 형상을 구분하지 못하는 것으로 나타났다.
• 상향 정보를 통합한 결과, 심한 구조적 잡음 하에서도 세 개의 객체 형상이 뚜렷하고 겹치지 않는 군집으로 분리되는 것으로 확인되었다.
• 상위 레이어의 원인 요소에서의 시간적 일관성은 군집 간의 매끄러운 전이를 유도하여 안정적이고 일관된 표현 학습을 나타내었다.
• 상향 피드백의 사용은 입력 프레임에서 진짜 객체와 잡음으로 인한 허위 객체를 구분하는 데 모델의 능력을 크게 향상시켰다.
• 제안된 희박한 상태 추론 절차는 표준 희박 코딩 대비 불안정성을 감소시켜 동적 환경에서 신뢰할 수 있는 특징 추출을 가능하게 하였다.