[논문 리뷰] Unsupervised Learning from Continuous Video in a Scalable Predictive Recurrent Network

Filip Piȩkniewski, Patryk A. Laurent외 4명|arXiv (Cornell University)|2016. 07. 22.

Video Surveillance and Tracking Methods참고 문헌 84인용 수 14

한 줄 요약

이 논문은 원시적이고 연속적인 영상에서 비지도 학습 방식으로 시각 세계의 동역학을 학습할 수 있는 확장 가능하고 예측 가능한 순환 신경망 아키텍처인 예측 시각 모델(Predictive Vision Model, PVM)을 제안한다. 다층 퍼셉트론을 사용한 局부 연결성과 함께 시간 예측, 차원 압축, 그리고 문맥 기반 예측을 결합함으로써 PVM은 최소한의 지도 학습으로도 최신 기법을 능가하거나 이를 충족하는 강력한 시각 추적을 가능하게 하며, 효과적인 비지도 세계 모델 학습을 입증한다.

ABSTRACT

Understanding visual reality involves acquiring common-sense knowledge about countless regularities in the visual world, e.g., how illumination alters the appearance of objects in a scene, and how motion changes their apparent spatial relationship. These regularities are hard to label for training supervised machine learning algorithms; consequently, algorithms need to learn these regularities from the real world in an unsupervised way. We present a novel network meta-architecture that can learn world dynamics from raw, continuous video. The components of this network can be implemented using any algorithm that possesses three key capabilities: prediction of a signal over time, reduction of signal dimensionality (compression), and the ability to use supplementary contextual information to inform the prediction. The presented architecture is highly-parallelized and scalable, and is implemented using localized connectivity, processing, and learning. We demonstrate an implementation of this architecture where the components are built from multi-layer perceptrons. We apply the implementation to create a system capable of stable and robust visual tracking of objects as seen by a moving camera. Results show performance on par with or exceeding state-of-the-art tracking algorithms. The tracker can be trained in either fully supervised or unsupervised-then-briefly-supervised regimes. Success of the briefly-supervised regime suggests that the unsupervised portion of the model extracts useful information about visual reality. The results suggest a new class of AI algorithms that uniquely combine prediction and scalability in a way that makes them suitable for learning from and --- and eventually acting within --- the real world.

연구 동기 및 목표

• 모레바의 역설을 해결하기 위해, 성인 수준의 분류에 의존하지 않고 1세 연령 어린이 수준의 일반적인 시각적 동역학을 학습할 수 있는 시각 시스템을 개발한다.
• 이미지넷과 같은 지도 학습 기반 벤치마크가 강조하는 레이블된 카테고리에 비해 실생활의 동적이고 실재적인 시각적 규칙성을 간과하는 한계를 극복한다.
• 인간이 레이블을 추가하지 않은 연속 영상에서 학습할 수 있는 확장 가능하고 병렬 처리 가능한 아키텍처를 설계한다.
• 로봇 및 자율 시스템과 같은 응용 분야에서 실시간으로 실생활의 동적인 환경에서 실현 가능한 실시간 시각 인식을 가능하게 한다.
• 비지도 사전 학습이 시각 추적과 같은 후속 작업의 성능을 향상시키는 데 유용한 세계 지식을 추출할 수 있는지 탐색한다.

제안 방법

• 예측 시각 모델(Predictive Vision Model, PVM)은 시간 예측, 차원 압축(오토에인코딩), 보조 입력을 활용한 문맥 인식 예측이라는 세 가지 핵심 구성 요소로 이루어진 메타 아키텍처를 사용한다.
• 각 구성 요소는 다층 퍼셉트론(MLP)을 사용해 구현되며, 국소적 연결성과 학습을 고려해 모듈화되고 확장 가능하며 병렬 처리가 가능한 학습을 가능하게 한다.
• 예측 코딩과 뇌 기능에 영감을 얻은 피드백 및 횡방향 연결을 활용함으로써, 복잡한 시각적 동역학과 시간적 의존성을 모델링할 수 있다.
• 시스템은 원시 영상 시퀀스에서 종단 간(end-to-end)으로 학습되어, 지도 없이 미래 프레임과 잠재 표현을 예측하도록 학습된다.
• 비지도 모델을 시각 추적에 적응시키기 위해 짧은 지도 학습 미세조정 단계를 적용하여, 학습된 세계 모델이 성능 향상에 기여하는지 테스트한다.
• 신경형 및 생물학적으로 타당한 구현과의 호환성을 고려해 아키텍처를 설계하여 향후 하드웨어 확장에 대비한다.

실험 결과

연구 질문

• RQ1 순수하게 비지도 학습 시스템이 연속 영상에서 유용한 세계 동역학을 추출하여 강력한 시각 추적을 가능하게 할 수 있는가?
• RQ2 레이블이 없는 원시 영상에서의 사전 학습이, 지도 학습 전용 학습 대비 후속 시각 추적 작업의 성능을 향상시키는가?
• RQ3 확장 가능하고 순환적이며 예측 가능한 아키텍처가 빛의 변화, 운동, 가림 등 실생활의 시각적 규칙성을 어느 정도 모델링할 수 있는가?
• RQ4 비지도 환경에서 학습된 시스템이 로봇과 같은 실용적인 과제, 예를 들어 동적인 환경에서의 객체 추적에 일반화될 수 있는가?
• RQ5 예측 아키텍처에 피드백 및 횡방향 연결을 통합할 경우, 표준 전방향 모델 대비 학습 성능이 어떻게 향상되는가?

주요 결과

• PVM은 주로 비지도 학습 환경에서 학습되더라도 최신의 지도 학습 추적 알고리즘과 동등하거나 이를 초월하는 추적 성능을 달성한다.
• 짧은 지도 미세조정 단계가 성능 향상에 크게 기여함으로써, 비지도 사전 학습이 의미 있는 세계 동역학을 캡처하고 있음을 시사한다.
• 운동 왜곡, 부분적 가림, 조명 변화와 같은 도전적인 시각 조건에서도 모델이 안정적이고 강력한 시각 추적을 수행함을 입증했다.
• 아키텍처의 확장성과 병렬 처리 기능 덕분에 연속 영상 스트림에서 효율적인 학습이 가능하며, 실시간 배포를 지원한다.
• 비지도 학습 환경의 성공은 시각적 시퀀스의 예측 모델링이 인공지능에서 일반적인 세계 이해를 위한 기초가 될 수 있음을 시사한다.
• PVM의 구현 소스 코드는 재현성과 향후 연구를 지원하기 위해 공개되었다.