[논문 리뷰] Sparse Coding on Stereo Video for Object Detection

Sheng Y. Lundquist, Melanie Mitchell외 1명|arXiv (Cornell University)|2017. 05. 19.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 4

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용해 깊이 선택성 특징을 학습함으로써 스테레오 비디오에서 객체 검출을 위한 딥 컨volution 신경망(DCNN)의 첫 번째 레이어에 비지도 학습 기반 희소 코딩을 통합하는 방법을 제안한다. 이 방법은 레이블이 제한된 경우에도 완전히 지도 학습된 DCNN보다 뛰어난 성능을 보이며, 랜덤 초기화 및 학습 순서에 따라 훨씬 더 일관된 성능을 보이며, 표준 컨볼루션 레이어에서는 관찰되지 않는 희소 코딩 특징이 고유한 깊이 선택성을 가지는 것으로 나타났다.

ABSTRACT

Deep Convolutional Neural Networks (DCNN) require millions of labeled training examples for image classification and object detection tasks, which restrict these models to domains where such datasets are available. In this paper, we explore the use of unsupervised sparse coding applied to stereo-video data to help alleviate the need for large amounts of labeled data. We show that replacing a typical supervised convolutional layer with an unsupervised sparse-coding layer within a DCNN allows for better performance on a car detection task when only a limited number of labeled training examples is available. Furthermore, the network that incorporates sparse coding allows for more consistent performance over varying initializations and ordering of training examples when compared to a fully supervised DCNN. Finally, we compare activations between the unsupervised sparse-coding layer and the supervised convolutional layer, and show that the sparse representation exhibits an encoding that is depth selective, whereas encodings from the convolutional layer do not exhibit such selectivity. These result indicates promise for using unsupervised sparse-coding approaches in real-world computer vision tasks in domains with limited labeled training data.

연구 동기 및 목표

• 딥 러닝 모델이 객체 검출을 위해 대량의 인간 레이블링된 학습 데이터가 필요로 하는 한계를 해결하기 위해.
• 레이블이 제한된 상황에서 스테레오 비디오 데이터에 대해 비지도 학습 기반 희소 코딩을 적용했을 때 성능 향상이 이루어지는지 조사하기 위해.
• 희소 코딩 기반 네트워크의 랜덤 초기화 및 학습 데이터 순서에 대한 강건성을 평가하기 위해.
• 희소 코딩 레이어에서 학습된 특징의 성격을 분석하고, 지도 학습된 컨볼루션 레이어의 특징과 비교하기 위해.
• 희소 코딩 활성화에서 관찰된 깊이 선택성이 객체 검출 성능 향상에 기여하는지 확인하기 위해.

제안 방법

• 레이블 없이 스테레오 비디오 데이터에서 훈련된 비지도 학습 기반 희소 코딩 레이어로 DCNN의 첫 번째 컨볼루션 레이어를 대체한다.
• L1 정규화를 통해 희소성과 중복 제거를 강제함으로써, 스테레오 이미지 패치의 희소하고 비중복적인 표현을 추론하기 위해 사전 학습 알고리즘을 사용한다.
• 소수의 레이블된 예제만을 사용하여 이후 레이어를 지도 학습 방식으로 훈련시킨다.
• 다양한 아키텍처를 가진 모델 간 성능을 비교한다: 완전히 지도 학습된 모델, 비지도 학습 후 첫 번째 레이어를 가진 모델, 그리고 미세 조정된 변종.
• 희소성 수준을 맞추기 위해 컨볼루션 레이어의 활성화에 임계값을 적용하여 희소 코딩 레이어의 비제로 활성화 수와 일치시킨다.
• 특징 맵을 시각화하고 분석하여, 학습된 필터에서 이중 시차 이동을 관찰함으로써 깊이 선택성을 평가한다.

실험 결과

연구 질문

• RQ1 레이블이 제한된 상황에서 스테레오 비디오 데이터에 대해 비지도 학습 기반 희소 코딩을 적용했을 때 객체 검출 성능 향상이 이루어지는가?
• RQ2 다양한 랜덤 초기화 및 학습 데이터 순서에 대해 희소 코딩 기반 네트워크의 성능 일관성은 완전히 지도 학습된 DCNN에 비해 어떻게 다른가?
• RQ3 희소 코딩 특징은 깊이 선택성을 보이며, 만약 그렇다면 표준 컨볼루션 특징과 어떻게 다를까?
• RQ4 레이블이 제한된 상황에서 비지도 학습 기반 희소 코딩 레이어를 포함하는 것이 지도 학습 기반 첫 번째 레이어보다 더 나은 일반화 성능을 보이는가?
• RQ5 희소 코딩 특징에서 관찰된 깊이 선택성이 자동차 검출 작업에서 성능 향상의 핵심 요인인가?

주요 결과

• 희소 코딩 네트워크(SparseUnsup)는 모든 테스트된 네트워크 깊이에서 완전히 지도 학습된 네트워크(ConvSup)보다 높은 평균 AUC 점수를 기록했으며, 특히 100개의 레이블 예제만으로도 뛰어난 성능을 보였다.
• SparseUnsup는 여섯 번의 랜덤 실행 동안 성능 변동 범위가 0.004–0.014 AUC로 매우 작았으며, 이는 초기화 및 데이터 순서에 대한 강건성이 ConvSup(범위 0.021–0.086 AUC)보다 뛰어나다는 것을 의미한다.
• 희소 코딩 레이어의 활성화는 깊이 선택성을 보였다: 근접 범위에 민감한 필터는 가까운 거리의 특징에 해당하는 큰 이중 시차 이동을 보였고, 원거리 범위에 민감한 필터는 시차 이동이 없었다. 이는 깊이 인코딩이 존재함을 시사한다.
• 반면, 컨볼루션 레이어(희소성 제어 조건 하에서도)는 깊이 선택성이 없었으며, 다양한 깊이에서 활성화가 발생했다.
• SparseUnsup의 성능 우월성은 레이블 데이터가 극히 적은 두 레이어 네트워크에서 가장 두드러졌으며, 이는 비지도 사전 훈련이 데이터 효율성을 향상시킬 수 있음을 시사한다.
• 본 연구는 희소 코딩을 통한 깊이 선택성 특징 학습이 레이블이 제한된 상황에서 스테레오 비디오 객체 검출에 강력한 인덕티브 바이어스가 될 수 있음을 확인한다.