[논문 리뷰] Fast Inference in Sparse Coding Algorithms with Applications to Object Recognition

Koray Kavukcuoglu, Marc’Aurelio Ranzato외 1명|arXiv (Cornell University)|2010. 10. 18.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 196

한 줄 요약

이 논문은 예측 희소 분해(PSD)를 제안한다. PSD는 희소 코딩 알고리즘에서 최적의 희소 코드를 근사하는 빠르고 피드포워드 신경망 기반의 회귀모형이다. 기저 함수와 예측기 모두를 함께 훈련시킴으로써, 정확한 최적화 방법 대비 100배 이상의 속도 향상을 이룩하면서도 객체 인식 작업에서 정확도를 유지하거나 초월한다. 이는 안정적이고 부드러운 표현을 갖춘 실시간 추론을 가능하게 한다.

ABSTRACT

Adaptive sparse coding methods learn a possibly overcomplete set of basis functions, such that natural image patches can be reconstructed by linearly combining a small subset of these bases. The applicability of these methods to visual object recognition tasks has been limited because of the prohibitive cost of the optimization algorithms required to compute the sparse representation. In this work we propose a simple and efficient algorithm to learn basis functions. After training, this model also provides a fast and smooth approximator to the optimal representation, achieving even better accuracy than exact sparse coding algorithms on visual object recognition tasks.

연구 동기 및 목표

• 희소 코딩 알고리즘의 추론에 소요되는 높은 계산 비용을 해결함으로써 실시간 비전 시스템에서의 활용을 제한하는 문제를 해결한다.
• 인식 성능을 희생시키지 않은 채 빠르고 부드럽고 정확한 최적의 희소 표현 근사기 개발을 목표로 한다.
• 결과로 얻어지는 표현이 희박하고 쉽게 예측 가능한 방식으로 기저 함수와 예측기를 함께 훈련시켜, 희박성과 예측 가능성의 이중 목표를 달성한다.
• 영상 프레임과 같은 시간에 따라 변화하는 입력에 대해 정확한 최적화 방법보다 더 높은 안정성을 확보한다.
• 계층적 비전 시스템에서 객체 인식을 위한 효율적이고 컨볼루션 방식의 희소 코딩 적용을 가능하게 한다.

제안 방법

• 이미지 패치 Y를 희소 표현 Z로 매핑하는 비선형 피드포워드 회귀모형 F(Y; G, W, D) = G·tanh(WY + D)를 제안한다.
• 기저 행렬 B와 함께 회귀모형을 복합 손실 함수를 사용해 함께 훈련한다: ||Y - BZ||² + λ||Z||₁ + α||Z - F(Y; P_f)||².
• 과잉기저이자 정규직교가 아닌 기저를 사용함에도 불구하고, 하이퍼볼릭 tangent 비선형성을 통해 희박한 출력을 가능하게 한다.
• 단위 노름 기저 스케일링을 보상하기 위해 대각선 이득 행렬 G를 도입하여 재구성의 일관성을 확보한다.
• 기저 함수(B), 이득 행렬(G), 가중치(W), 편향(D)를 모두 종단 간(end-to-end) 최적화하여 재구성 오차, 희박성, 예측 오차를 함께 최소화하는 기저 함수와 예측기를 생성한다.
• 훈련된 예측기를 ReLU 유사 정류와 평균 풀링 이후 SVM 분류를 수행하는 컨볼루션 특징 추출 파이프라인에 적용한다.

실험 결과

연구 질문

• RQ1 희소 코딩 알고리즘에서 최적의 희소 코드를 고정밀도와 저비용으로 예측할 수 있는 피드포워드 신경망을 훈련시킬 수 있는가?
• RQ2 기저 함수와 예측기를 함께 훈련시키는 것이 희박성과 예측 용이성을 동시에 확보하는 표현을 만들어내는가?
• RQ3 예측된 표현이 근사치이지만, 정확한 희소 코딩 알고리즘보다 더 높은 인식 정확도를 달성할 수 있는가?
• RQ4 자연 영상 시퀀스에서 예측된 표현의 안정성은 정확한 최적화 방법에 비해 어떻게 비교되는가?
• RQ5 실세계 객체 인식 작업에서 추론 속도, 희박성, 인식 정확도 사이의 상호 상충 관계는 어떠한가?

주요 결과

• PSD 예측기는 가장 빠른 정확한 희소 코딩 알고리즘(특징 기반) 대비 특징 추출 속도에서 100배 이상의 향상을 이룩했으며, 최적의 희박성 수준에서 800배 이상의 속도 향상을 기록했다.
• 근사치이지만, PSD 예측기는 정확한 희소 코딩 알고리즘보다 Caltech-101 데이터셋에서 더 높은 객체 인식 정확도를 달성했으며, 후자조차도 희박성 최적화를 위해 최적화된 경우에도 마찬가지였다.
• 예측된 표현은 시간에 걸쳐 더 안정적이며, 정확한 최적화 방법에 비해 연속된 영상 프레임 간 부호 전환 빈도가 현저히 낮아 부드러운 동적 특성을 보였다.
• 기저 함수와 예측기를 함께 훈련시킴으로써 일반화 능력이 향상되었으며, 클래스당 30장의 훈련 이미지만으로도 53%의 정확도를 달성하여 그 성능이 뛰어났다.
• 지역화되고 방향성이 있는 엣지 유사 기저 함수를 학습함으로써 컨볼루션 특징 맵의 부재를 줄였으며, 이는 공간적 위치 간에 효율적으로 공유될 수 있었다.
• 복합 손실 함수는 기저 함수와 예측기를 동시에 희박성과 높은 예측 가능성으로 학습시켜 효율적이고 정확한 추론을 가능하게 했다.