[논문 리뷰] Learning detectors quickly using structured covariance matrices

Jack Valmadre, Sridha Sridharan외 1명|arXiv (Cornell University)|2014. 03. 28.

Remote-Sensing Image Classification참고 문헌 23인용 수 4

한 줄 요약

이 논문은 전통적인 하드 음성 마이닝(HNM)이나 콜레스키 분해보다 수백 배에서 수천 배 빠르고 메모리 소비가 훨씬 적은 객체 검출기 학습을 위해 구조적 공분산 행렬—특히 토플리츠(Toeplitz) 및 순환(circulant) 형식—을 제안한다. 음성 예제 분포의 정적(stationarity) 특성을 활용해, 전체 음성 집합을 다시 방문하지 않고도 빠른 변환(예: FFT)을 통해 검출기를 계산함으로써, 초당 수십 분의 일초 내외의 시간에 HNM 수준의 성능을 달성한다.

ABSTRACT

Computer vision is increasingly becoming interested in the rapid estimation of object detectors. Canonical hard negative mining strategies are slow as they require multiple passes of the large negative training set. Recent work has demonstrated that if the distribution of negative examples is assumed to be stationary, then Linear Discriminant Analysis (LDA) can learn comparable detectors without ever revisiting the negative set. Even with this insight, however, the time to learn a single object detector can still be on the order of tens of seconds on a modern desktop computer. This paper proposes to leverage the resulting structured covariance matrix to obtain detectors with identical performance in orders of magnitude less time and memory. We elucidate an important connection to the correlation filter literature, demonstrating that these can also be trained without ever revisiting the negative set.

연구 동기 및 목표

• 기존의 하드 음성 마이닝(HNM) 방식을 사용할 경우 대규모 음성 데이터셋에서 객체 검출기 학습에 소요되는 높은 계산 비용을 해결한다.
• 선형 검출기의 학습 시간과 메모리 사용량을 줄이기 위해 구조적 이阶 통계(공분산 행렬)를 활용한다.
• 온라인 학습이나 모바일 비전과 같은 많은 수 또는 동적 검출기가 필요한 응용 분야에서 실시간으로 검출기를 학습할 수 있도록 한다.
• 선형 판별 분석(LDA)과 상관 필터(correlation filters) 사이에 이론적이고 실용적인 연결 고리를 구조적 공분산 행렬을 통해 수립한다.

제안 방법

• 이미지 서브윈도우에서의 정적 특성을 활용해 음성 예제의 공분산을 구조적 토플리츠 또는 순환 행렬로 모델링함으로써, 매개변수 수를 O(n²)에서 O(n)으로 감소시킨다.
• 공분산 행렬 S와 클래스 평균 차이 b에 대해 선형 시스템 S w = b를 효율적으로 해결하기 위해 푸리에 변환(FFT)을 사용한다.
• 비용이 많이 드는 콜레스키 분해를 피하기 위해 코그래디언 그래디언트 방법을 사용해 시스템을 반복적으로 해결함으로써 메모리 사용량을 줄인다.
• 명시적인 음성 예제 샘플링 없이도 직접 다중채널 상관 필터를 구조적 정적 공분산 행렬에서 유도한다.
• 해결의 안정성을 높이기 위해 λI를 정규화로 도입하였으며, 실험에서는 λ = 1e-4를 사용하였다.
• 모든 방법을 표준 라이브러리(LAPACK, FFTW, liblinear)를 사용해 구현하여 재현 가능성과 기존 파ip라인과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 구조적 공분산 행렬(토플리츠/순환)을 사용해 HNM만큼 정확한 검출기를 훨씬 적은 시간과 메모리로 학습시킬 수 있는가?
• RQ2 구조적 공분산을 사용해 학습한 검출기의 성능는 표준 HNM나 무작위 샘플링 방식으로 학습한 검출기와 비교해 어떻게 되는가?
• RQ3 명시적인 음성 예제 접근 없이도 상관 필터 프레임워크를 정적 공분산 행렬에서 얼마나 잘 유도할 수 있는가?
• RQ4 검출기 학습에서 순환 구조와 토플리츠 구조를 사용할 경우 속도, 메모리, 정확도 사이의 상호 상충 관계는 어떠한가?
• RQ5 제안된 방법은 이미지넷과 같은 대규모 데이터셋에 대해 높은 검출 성능를 유지하면서도 스케일링 가능한가?

주요 결과

• 순환 구조 공분산을 사용해 학습한 검출기는 음성 예제의 무작위 부분집합에 대해 SVM을 학습한 것과 유사한 정밀도-재현율 성능를 보였으며, 이는 1초 미만의 시간에 달성되었다.
• 토플리츠 구조 공분산을 사용해 학습한 검출기는 HNM 성능을 정확히 재현했지만, 계산 시간과 메모리 사용량이 수백 배에서 수천 배 줄어들었다.
• 구조적 공분산과 함께 코그래디언트 그래디언트 방법을 사용하면 콜레스키 분해 대비 학습 시간이 거의 두 자릿수 감소했다.
• 구조적 공분산 접근 방식의 메모리 요구량은 극적으로 감소했으며, 콜레스키 분해의 경우 수 100MB 수준이지만, 순환 또는 토플리츠 형태는 수십 KB 수준에 그쳤다.
• 이 방법은 템플릿 크기와 무관하게 적용 가능하므로, 전체 공분산을 다시 계산하지 않고도 다양한 스케일에서 빠른 재학습이 가능하다.
• 실험 결과, 약 1,000~100개의 음성 이미지만으로도 공분산 행렬을 추정할 수 있었으며, 성능 저하가 거의 없었고, 이는 제한된 데이터에 대해 매우 강건함을 시사한다.