[논문 리뷰] PatternNet: Visual Pattern Mining with Deep Neural Network

Hongzhi Li, Joseph G. Ellis외 2명|arXiv (Cornell University)|2017. 03. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 27인용 수 8

한 줄 요약

PatternNet는 사전 훈련된 CNN의 마지막 합성곱층에서 유도된 필터 활성화를 활용하여 분류 가능한 대표적인 시각적 패턴을 탐지하는 딥러닝 프레임워크이다. 이는 완전 연결층과 새로운 손실 함수를 사용하여 시각적 패턴 탐사 문제를 희소 필터 조합 문제로 공식화하며, 미세 분류 이미지 분류(70.0% 정확도, CUB-200 기준) 및 오브제クト 프포지션(이미지당 5개의 바운딩 박스만 필요)에서 최신 기술을 초월하는 성능을 달성한다.

ABSTRACT

Visual patterns represent the discernible regularity in the visual world. They capture the essential nature of visual objects or scenes. Understanding and modeling visual patterns is a fundamental problem in visual recognition that has wide ranging applications. In this paper, we study the problem of visual pattern mining and propose a novel deep neural network architecture called PatternNet for discovering these patterns that are both discriminative and representative. The proposed PatternNet leverages the filters in the last convolution layer of a convolutional neural network to find locally consistent visual patches, and by combining these filters we can effectively discover unique visual patterns. In addition, PatternNet can discover visual patterns efficiently without performing expensive image patch sampling, and this advantage provides an order of magnitude speedup compared to most other approaches. We evaluate the proposed PatternNet subjectively by showing randomly selected visual patterns which are discovered by our method and quantitatively by performing image classification with the identified visual patterns and comparing our performance with the current state-of-the-art. We also directly evaluate the quality of the discovered visual patterns by leveraging the identified patterns as proposed objects in an image and compare with other relevant methods. Our proposed network and procedure, PatterNet, is able to outperform competing methods for the tasks described.

연구 동기 및 목표

• 수동 애너테이션에 의존하지 않고, 카테고리 내에서 빈번하게 나타나는(대표성 있음) 동시에 카테고리 간에 구별되는(분류 가능함) 시각적 패턴을 탐지하는 데 도전하는 것.
• 비용이 많이 드는 패치 샘플링이나 바운딩 박스 애너테이션 없이도 기존의 CNN 특징을 활용하여 이미지 컬렉션에서 효율적으로 시각적 패턴을 탐사하는 방법을 개발하는 것.
• 학습된 필터 응답을 직접 활용하여 의미 있는 시각적 구조를 식별함으로써 이미지 분류 및 오브제кт 프포지션 작업을 향상시키는 것.
• 필터 기반 패턴 탐지가 약한 감독 또는 완전한 감독 애너테이션을 사용하는 최신 기술과 비교해도 경쟁 가능한 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• PatternNet는 사전 훈련된 CNN의 마지막 합성곱층의 필터를 패턴 탐지기로 사용하며, 각 필터는 특정한 시각적 패턴에 반응한다.
• 이 방법은 이러한 필터들의 희소 선형 조합을 학습하는 완전 연결층을 도입하여 목표 이미지 카테고리의 패턴에 가장 민감하게 반응하는 필터 집합을 식별한다.
• 양성 이미지(목표 카테고리)에서는 활성화를 최대화하고, 음성 이미지(다른 카테고리)에서는 최소화하는 것을 목표로 하는 새로운 손실 함수를 설계하여 분류 가능한 패턴 탐지의 성능을 향상시킨다.
• 기존의 패치 기반 접근 방식과는 달리, 전수적인 패치 샘플링을 피하고 직접 특징 맵을 분석함으로써 순서 수준의 속도 향상을 달성한다.
• 프레임워크는 오직 완전 연결층의 파라미터만 업데이트하면서 엔드 투 엔드로 훈련되며, CNN의 학습된 특징을 유지한다.
• PatternNet는 특징 맵 전역에서 고활성 영역을 식별하여 오브제кт 프포지션을 생성하며, 이미지당 수십 개의 고품질 바운딩 박스만 생성한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN의 필터 응답을 효과적으로 조합하여 대표성 있고 분류 가능한 시각적 패턴을 탐지할 수 있는가?
• RQ2 비용이 많이 드는 이미지 패치 샘플링이나 수동 바운딩 박스 애너테이션 없이도 시각적 패턴 탐사를 효율적으로 수행할 수 있는가?
• RQ3 발견된 시각적 패턴이 미세 분류 이미지 분류 및 오브제кт 프포지션과 같은 후속 작업에서 얼마나 잘 성능을 내는가?
• RQ4 수동 바운딩 박스 애너테이션을 사용하지 않을 때 PatternNet이 분류 및 오브제кт 프포지션 분야에서 최신 기술을 초월하는가?

주요 결과

• CUB-200 미세 분류 이미지 분류 벤치마크에서 PatternNet는 바운딩 박스 애너테이션을 사용하지 않은 모든 비교 방법보다 70.0%의 상위-1 정확도를 달성한다.
• Pascal VOC 2007 오브제кт 프포지션 작업에서 PatternNet는 이미지당 5개의 바운딩 박스로도 재현율 0.86과 MABO 0.77의 성능을 기록했으며, 약 100개의 박스를 제안하는 방법들보다 뚜렷이 뛰어나다.
• 전체적인 패치 샘플링을 피함으로써 순서 수준의 빠른 속도 향상을 보이며, 기존의 패치 기반 접근 방식보다 훨씬 효율적이다.
• 주관적 평가 결과, 발견된 패턴들은 시각적으로 의미 있고 의미적으로 일관된 것으로 확인되었으며, 바퀴, 문, 동물의 신체 부위 등이 포함된다.
• 동일한 카테고리에 속한 이미지들 사이에서 고유한 시각적 패턴을 성공적으로 식별함으로써 그 대표성과 분류 가능성을 확인하였다.
• 수동으로 레이블링된 바운딩 박스나 추가 학습 데이터를 사용하지 않아도 강력한 성능을 달성하여, 약한 감독 응용 분야에 적합하다.