[논문 리뷰] Handcrafted Local Features are Convolutional Neural Networks

Zhenzhong Lan, Shoou-I Yu외 3명|arXiv (Cornell University)|2015. 11. 16.

Human Pose and Action Recognition참고 문헌 32인용 수 9

한 줄 요약

이 논문은 수작업으로 구성된 국소적 특징과 합성곱 신경망(CNN)을 공유하는 합성곱-풀링 아키텍처를 활용하여 통합하는 새로운 비디오 특징 학습 방법 Two-Stream ConvISA를 제안한다. 경량이며 엔드 투 엔드가 아닌 프레임워크에서 고정된 수작업 필터를 비지도로 학습된 필터로 대체함으로써, 레이블이 필요한 데이터가 없이도 HMDB51과 UCF101에서 최신 기준 성능을 달성하였으며, 훈련 속도는 CPU에서 약 2시간(4개의 GPU에서 1일)으로 수십만 배 빠르게 개선되었다.

ABSTRACT

Image and video classification research has made great progress through the development of handcrafted local features and learning based features. These two architectures were proposed roughly at the same time and have flourished at overlapping stages of history. However, they are typically viewed as distinct approaches. In this paper, we emphasize their structural similarities and show how such a unified view helps us in designing features that balance efficiency and effectiveness. As an example, we study the problem of designing efficient video feature learning algorithms for action recognition. We approach this problem by first showing that local handcrafted features and Convolutional Neural Networks (CNNs) share the same convolution-pooling network structure. We then propose a two-stream Convolutional ISA (ConvISA) that adopts the convolution-pooling structure of the state-of-the-art handcrafted video feature with greater modeling capacities and a cost-effective training algorithm. Through custom designed network structures for pixels and optical flow, our method also reflects distinctive characteristics of these two data sources. Our experimental results on standard action recognition benchmarks show that by focusing on the structure of CNNs, rather than end-to-end training methods, we are able to design an efficient and powerful video feature learning algorithm.

연구 동기 및 목표

• 수작업 국소적 특징과 딥 CNN 간의 개념적·구조적 격차를 해소하기 위해, 둘 다 공통으로 가지는 합성곱-풀링 아키텍처를 드러내는 것.
• 고정된 수작업 필터로 인한 제한된 모델링 능력 문제를 해결하면서도, 엔드 투 엔드 CNN 훈련의 높은 계산 비용과 레이블 요구 비용을 피하는 것.
• 표준 동작 인식 벤치마크에서 높은 성능을 유지하면서도 효율적이고 레이블이 없는 비디오 특징 학습 알고리즘을 설계하는 것.
• CNN 유사 아키텍처 내에서의 비지도 특징 학습이 효율성과 효과성 측면에서 지도 기반 엔드 투 엔드 훈련을 능가할 수 있는지 탐색하는 것.

제안 방법

• IDT 등 수작업 특징을 합성곱-풀링 신경망 아키텍처로 재구성하여, 수작업 특징과 CNN 접근법이 동일한 기초 아키텍처를 공유하고 있음을 입증한다.
• 두 가지 모odal(색상(RGB)과 운동(광학 흐름))에 동일한 합성곱-풀링 아키텍처를 적용하는 두 개의 스트림을 갖춘 Two-Stream ConvISA를 도입하며, 각 모달에 대해 별도의 학습된 필터를 사용한다.
• 독립 하위공간 분석(ISA)과 주성분 분석(PCA)을 통한 비지도 특징 학습을 통해 고정된 수작업 필터가 아닌 학습된 필터를 사용한다.
• 모달에 따라 적합한 시간적 집계 전략을 적용한다: 외형 특징에는 시간적 투영을, 운동 특징에는 시간적 풀링을 사용하며, 이는 실증적 분석에서 각 모달에 대해 우월한 성능를 보임을 확인한 바 있다.
• 기능을 연결하기 전에 거듭제곱 및 ℓ₂ 정규화를 적용한 후, 다중 클래스 분류를 위해 C=100인 선형 SVM 분류기 사용.
• 레이블이 전혀 없는 환경에서 특징 추출 모듈을 훈련하며, 아키텍처와 비지도 학습에 집중하고, 추론 및 분류 과정은 단순하게 유지한다.

실험 결과

연구 질문

• RQ1 수작업 국소적 특징과 CNN 간의 구조적 유사성을 활용하여 더 효과적이고 효율적인 비디오 특징 학습 방법을 설계할 수 있는가?
• RQ2 합성곱-풀링 아키텍처 내에서 고정된 수작업 필터를 비지도로 학습된 필터로 대체하면 성능 향상과 함께 계산 비용을 줄일 수 있는가?
• RQ3 엔드 투 엔드가 아닌 레이블이 없는 특징 학습 방법이 동작 인식 과제에서 최신 기준 엔드 투 엔드 CNN보다 뛰어난 성능을 낼 수 있는가?
• RQ4 다른 시간적 집계 전략(투영 대 풀링)이 외형 특징과 운동 특징에 대해 성능에 어떤 영향을 미치는가?
• RQ5 PCA와 ISA와 같은 비지도 학습 방법을 CNN 유사 아키텍처에 통합했을 때, 이는 수작업 특징 파이프라인의 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• Two-Stream ConvISA는 레이블 없이도 HMDB51에서 61.5%의 정확도, UCF101에서 88.3%의 정확도를 기록하여, 더 적은 데이터와 레이블 없이 훈련된 두 개의 스트림 CNN(59.4%와 88.0%)을 능가한다.
• 이 방법은 단일 CPU에서 약 2시간 내로 훈련이 가능하며, 두 개의 스트림 CNN은 4개의 GPU에서 약 1일이 소요되므로, 뚜렷한 효율성 우위를 보인다.
• 학습된 외형 기술자(LOG)는 추가 학습 데이터 없이도 HMDB51에서 HOG 성능을 42.0%에서 52.4%로 10% 이상 향상시켰고, UCF101에서는 7% 이상 향상되었다.
• 학습된 운동 기술자(LOF)는 HOF와 MBH를 초월하여 HMDB51에서 4% 이상, UCF101에서 3% 이상 성능 향상을 보였으며, 학습된 필터의 효과를 입증한다.
• PCA와 ISA 출력을 조합한 ISA+는 HMDB51에서 3% 이상, UCF101에서 2% 이상 성능 향상을 가져왔으며, 서로 다른 비지도 학습 방법 간의 상호보완적 이점이 있음을 시사한다.
• 외형 특징에는 시간적 투영이 풀링보다 우월하고, 운동 특징에는 시간적 풀링이 더 우수한 성능를 보였으며, 이는 모달에 특화된 설계가 필수적임을 시사한다.