[논문 리뷰] Unsupervised Learning of Spatiotemporally Coherent Metrics

Ross Goroshin, Joan Bruna외 3명|arXiv (Cornell University)|2014. 12. 18.

Anomaly Detection Techniques and Applications참고 문헌 20인용 수 11

한 줄 요약

이 논문은 슬로우니스와 희소성 사전 지식을 통해 정규화된 컨volutional 풀링 오토에인코드러를 사용하여 레이블이 없는 비디오에서 시공간적으로 일관된 시각적 특징을 학습하는 비지도 딥러닝 방법을 제안한다. 느린 특징 학습과 거리 측정 학습을 연결함으로써, 자동으로 하이퍼파ram터를 튜닝할 수 있고, 더 의미적으로 일관된 거리 척도를 정의하는 특징을 생성하며, 시간적 및 클래스 기반 검색 작업에서 기준 방법들을 능가한다.

ABSTRACT

Current state-of-the-art classification and detection algorithms rely on supervised training. In this work we study unsupervised feature learning in the context of temporally coherent video data. We focus on feature learning from unlabeled video data, using the assumption that adjacent video frames contain semantically similar information. This assumption is exploited to train a convolutional pooling auto-encoder regularized by slowness and sparsity. We establish a connection between slow feature learning to metric learning and show that the trained encoder can be used to define a more temporally and semantically coherent metric.

연구 동기 및 목표

• 태스크에 특화된 감독 없이 레이블이 없는 비디오에서 일반적이고 의미 있는 시각적 표현을 학습하는 것.
• 시간적 일관성을 약한 감독 신호로 사용하여 비지도 특징 학습에서 불변성과 분류 가능성을 균형 잡는 도전 과제를 해결하는 것.
• 느린 특징 학습과 거리 측정 학습 간의 연결을 통해 비지도 표현 학습에서 하이퍼파ram터 선택을 원리적으로 자동화하는 방법을 확립하는 것.
• 재구성, 느린성, 희소성의 공동 최적화가 시간적 일관성만 최적화하는 것보다 더 의미적으로 일관된 특징을 생성하는가를 입증하는 것.

제안 방법

• 지역 변형에 대한 불변성을 유도하기 위해 공유 가중치와 국소 풀링을 사용하는 컨볼루션 풀링 오토에인코드로 비지도 특징 학습을 수식화한다.
• 시간적으로 인접한 프레임에서 재구성 오차를 최소화함으로써 시간적 일관성을 촉진하는 재구성 기반 대비 항목을 도입한다.
• 학습된 특징에 희소성과 느린성 사전 지식을 적용하며, 느린성이 시간에 걸쳐 안정성을 유지하도록 하고, 희소성이 분류 가능성을 증진하도록 한다.
• 두 단계로 구성된 훈련 절차를 사용한다: 먼저 느린성과 희소성을 포함한 얕은 오토에인코드를 훈련하고, 그 다음 동일한 목적함수를 사용하여 깊이 있는 레이어를 쌓아 계층적 표현을 구축한다.
• 재구성 오차, 희소성 정규화, 느린성 페널티를 결합한 수정된 손실 함수를 사용하여 불변성과 분류 가능성을 균형 잡는다.
• 느린 특징 분석과 거리 측정 학습 간의 새로운 연결 고리를 도입하여, 시간적 일관성에 기반한 원리적인 하이퍼파ram터 튜닝을 가능하게 한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 비디오 시퀀스에서 시간적 일관성이 약한 감독 신호로 작용하여 일반적이고 의미 있는 시각적 특징을 학습하는 데 활용될 수 있는가?
• RQ2 비지도 특징 학습에서 불변성(느린성)과 분류 가능성을 원리적이고 자동화된 방식으로 균형 잡는 방법은 무엇인가?
• RQ3 재구성, 느린성, 희소성 사전 지식을 함께 최적화하면 시간적 일관성만 최적화하는 것보다 더 의미적으로 일관된 특징을 얻을 수 있는가?
• RQ4 결과로 도출된 특징들이 레이블 없이도 시간적 및 클래스 기반 검색 작업에서 성능 향상을 이끌 수 있는 거리 척도를 정의할 수 있는가?

주요 결과

• 제안된 방법은 시간적 및 클래스 기반 검색에서 일관성 있는 정밀도-재현율 성능을 보이며, 한 층의 DrLIM 및 그룹 희소성 기준 방법을 모두 능가한다.
• 재구성, 느린성, 희소성 정규화를 함께 훈련한 이중 레이어 특징은 시간적 일관성이 가장 뛰어나, 오직 시간적 일관성만 최적화한 모델나 그룹 희소성만 최적화한 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 제안된 방법으로 학습된 특징는 DrLIM에 비해 이웃 간의 시각적 및 의미적 유사성이 더 높았으며, DrLIM는 높은 시간적 일관성에도 불구하고 시각적으로 일관되지 않은 최근접 이웃을 생성했다.
• 비지도 모델의 두 번째 레이어는 CIFAR-10 검색 작업에서 첫 번째 레이어보다 성능이 열 劣하였으며, 적절한 정규화 없이 깊이 있는 레이어에서는 분류 가능성이 손실될 수 있음을 시사한다.
• 모델의 첫 번째 레이어 특징는 높은 재현율에서 감독된 사층형 컨볼루션 네트워크의 첫 번째 레이어와 유사한 성능을 보였으며, 이는 강력한 전이 가능성(transferability)을 보여준다.
• 개별 희소성 사전 지식의 포함은 시간적 일관성을 떨어뜨렸으며, 이는 풀링된 특징에서 시간적 구조를 유지하는 데 그룹 수준의 희소성이 더 효과적임을 시사한다.