[논문 리뷰] Untangling Local and Global Deformations in Deep Convolutional Networks for Image Classification and Sliding Window Detection

George Papandreou, Iasonas Kokkinos외 1명|arXiv (Cornell University)|2014. 11. 30.

Advanced Neural Network Applications참고 문헌 33인용 수 39

한 줄 요약

이 논문은 딥 컨volution 네트워크에서 표준 컨볼루션-맥스 풀링의 대체로 에피토믹 컨볼루션을 제안하여 필터 간 파라미터 공유를 가능하게 하여 학습 수렴 속도와 일반화 능력을 향상시킨다. 또한 전역 스케일과 이동성에 대한 명시적 모델링을 위해 패치워크 기반의 다중 예제 학습(MIL) 프레임워크를 도입하고, 수신장 감소를 통해 ImageNet 사전 학습된 네트워크를 재사용하여 효율적인 슬라이딩 윈도우 검출기 구축을 통해 ImageNet과 Pascal VOC 2007에서 최고 성능을 달성한다.

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) commonly use generic `max-pooling' (MP) layers to extract deformation-invariant features, but we argue in favor of a more refined treatment. First, we introduce epitomic convolution as a building block alternative to the common convolution-MP cascade of DCNNs; while having identical complexity to MP, Epitomic Convolution allows for parameter sharing across different filters, resulting in faster convergence and better generalization. Second, we introduce a Multiple Instance Learning approach to explicitly accommodate global translation and scaling when training a DCNN exclusively with class labels. For this we rely on a `patchwork' data structure that efficiently lays out all image scales and positions as candidates to a DCNN. Factoring global and local deformations allows a DCNN to `focus its resources' on the treatment of non-rigid deformations and yields a substantial classification accuracy improvement. Third, further pursuing this idea, we develop an efficient DCNN sliding window object detector that employs explicit search over position, scale, and aspect ratio. We provide competitive image classification and localization results on the ImageNet dataset and object detection results on the Pascal VOC 2007 benchmark.

연구 동기 및 목표

• 지역(비강체) 및 전역(이동/스케일) 변형에 대한 인variant성을 개선함으로써 딥 컨volution 네트워크 성능을 향상시키기 위해.
• 표준 컨볼루션-맥스 풀링을 에피토믹 컨볼루션으로 대체하여 더 나은 파라미터 공유와 학습 안정성을 확보하기 위해.
• 다중 예제 학습(MIL) 프레임워크 내에서 패치워크 데이터 구조를 통해 훈련 중 스케일과 위치를 명시적으로 모델링하기 위해.
• 수신장 감소를 통해 사전 학습된 ImageNet 분류기들을 재사용하여 효율적이고 종단 간 슬라이딩 윈도우 객체 검출기 개발하기 위해.
• 외부 영역 제안 네트워크에 의존하지 않고도 이미지 분류 및 객체 검출에서 경쟁 가능한 성능 확보하기 위해.

제안 방법

• 표준 맥스 풀링의 대체로 필터 중심의 에피토믹 컨볼루션을 도입하여, 하나의 입력 패치를 미니-에피토믹에 저장된 필터 집합과 비교해 최대 반응을 산출한다.
• 각 레이어에 작은 국소적 미니-에피토믹의 사전을 사용하여, 입력 패치보다 略로 큰 크기를 가짐으로써 필터 간 파라미터 공유를 가능하게 하면서도 계산 효율성을 유지한다.
• 훈련 및 추론 중 가능한 모든 이미지 스케일과 위치를 후보 입력으로 효율적으로 표현하는 패치워크 데이터 구조를 구성한다.
• 이미지 수준의 클래스 레이블만을 사용하여 다중 예제 학습(MIL)을 적용함으로써, 모델이 다양한 스케일과 위치에서 객체를 탐지하도록 학습할 수 있도록 한다.
• 전체 연결층을 컨볼루션층으로 변환하고 '홀 알고리즘'을 적용하여 8픽셀 간격으로 조밀한 특징 추출을 가능하게 함으로써 사전 학습된 VGG-16 네트워크를 슬라이딩 윈도우 검출에 재사용한다.
• 첫 번째 전체 연결층의 공간적 서브샘플링을 7×7에서 4×4로 변경하여 네트워크의 수신장 크기를 감소시켜 계산 비용을 절감하고 정위치 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 컨볼루션-맥스 풀링 대비 에피토믹 컨볼루션은 딥 컨볼루션 네트워크의 일반화 능력과 수렴 속도 향상에 기여하는가?
• RQ2 패치워크 기반의 다중 예제 학습(MIL) 프레임워크를 통해 훈련 중 스케일과 위치를 명시적으로 모델링하면 ImageNet에서의 이미지 분류 정확도에 상당한 향상이 이루어지는가?
• RQ3 외부 영역 제안 네트워크 없이도 딥 컨볼루션 네트워크 기반 슬라이딩 윈도우 검출기가 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 수신장 크기가 딥 컨볼루션 기반 객체 검출기의 정위치 정확도에 미치는 영향은 어떠한가?
• RQ5 사전 학습된 ImageNet 분류기의 아키텍처 수정을 통해 효율적인 슬라이딩 윈도우 검출에 얼마나 잘 적응시킬 수 있는가?

주요 결과

• 에피토믹 컨볼루션은 동일한 계산 복잡도를 유지하면서도 표준 컨볼루션-맥스 풀링보다 더 나은 일반화 능력과 더 빠른 수렴 속도를 달성한다.
• 패치워크 기반의 다중 예제 학습(MIL) 프레임워크를 통해 훈련 중 스케일과 위치를 명시적으로 모델링하면 ImageNet에서의 이미지 분류 정확도에 상당한 향상이 이루어진다.
• 제안된 슬라이딩 윈도우 검출기는 선택적 검색에 의존하지 않고도 Pascal VOC 2007에서 경쟁 가능한 성능을 달성하며, 외부 영역 제안 기반 방법들을 초월한다.
• 첫 번째 전체 연결층의 서브샘플링을 통해 수신장 크기를 224×224에서 128×128로 감소시킴으로써 계산량을 3배 감소시키고 정위치 정확도를 향상시킬 수 있다.
• 홀 알고리즘을 통해 8픽셀 간격으로 조밀한 특징 추출이 가능하여 전체 이미지에 걸쳐 정확한 검출 점수를 산출할 수 있으며 과도한 계산을 피할 수 있다.
• 이 방법은 ImageNet 이미지 분류 및 Pascal VOC 2007 객체 검출 벤치마크에서 최고 성능을 달성하여 국소적 및 전역적 변형을 분리하는 것이 효과적임을 입증한다.