[논문 리뷰] Deep Attributes from Context-Aware Regional Neural Codes

Jianwei Luo, Jianguo Li외 3명|arXiv (Cornell University)|2015. 09. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 사전 훈련된 CNN에서 유도된 맥락 인식 지역 신경 코드를 활용하여 시각 인식에서의 의미 간극을 줄이기 위한 딥 어트리뷰트 프레임워크를 제안한다. 영역 제안, 소프트맥스 출력의 크로스-영역 최대 풀링, 맥락 인식 영역 정제 알고리즘을 사용함으로써, 이미지 분류, 미세한 차이 인식, 시각적 인스턴스 검색 등 다양한 분야에서 최신 기술 수준의 성능을 달성하며, ImageNet과 낮은 카테고리 겹침을 보이는 데이터셋에서도 기존 방법들을 크게 능가한다.

ABSTRACT

Recently, many researches employ middle-layer output of convolutional neural network models (CNN) as features for different visual recognition tasks. Although promising results have been achieved in some empirical studies, such type of representations still suffer from the well-known issue of semantic gap. This paper proposes so-called deep attribute framework to alleviate this issue from three aspects. First, we introduce object region proposals as intermedia to represent target images, and extract features from region proposals. Second, we study aggregating features from different CNN layers for all region proposals. The aggregation yields a holistic yet compact representation of input images. Results show that cross-region max-pooling of soft-max layer output outperform all other layers. As soft-max layer directly corresponds to semantic concepts, this representation is named "deep attributes". Third, we observe that only a small portion of generated regions by object proposals algorithm are correlated to classification target. Therefore, we introduce context-aware region refining algorithm to pick out contextual regions and build context-aware classifiers. We apply the proposed deep attributes framework for various vision tasks. Extensive experiments are conducted on standard benchmarks for three visual recognition tasks, i.e., image classification, fine-grained recognition and visual instance retrieval. Results show that deep attribute approaches achieve state-of-the-art results, and outperforms existing peer methods with a significant margin, even though some benchmarks have little overlap of concepts with the pre-trained CNN models.

연구 동기 및 목표

• 사전 훈련된 모델의 고수준 의미 출력과 지역 수준의 의미를 통합하여 글로벌 CNN 특징의 의미 간극을 해소한다.
• 중간층 CNN 특징의 한계를 극복한다. 이는 해석하기 어려우며 맥락 정보를 상실하기 때문이다.
• 객체 영역 제안에 대해 소프트맥스 출력을 집약하여 컴act하면서도 의미적으로 유의미한 표현을 개발한다.
• 분류기 피드백을 기반으로 영역 제안을 정제하여 맥락적으로 관련 있는 영역에 집중함으로써 인식 성능을 향상시킨다.
• ImageNet과의 도메인 겹침이 거의 없는 다양한 시각 인식 작업에 대해 딥 어트리뷰트 프레임워크의 일반성과 강건성을 입증한다.

제안 방법

• 선택적 검색 또는 엣지박스와 같은 알고리즘을 사용해 이미지 내 잠재적 객체를 국소화하는 객체 영역 제안 생성.
• 각 영역 제안에 대해 사전 훈련된 CNN(예: ImageNet-1000)의 소프트맥스 레이어에서 깊이 특징 추출.
• 모든 영역 특징 간 크로스-영역 최대 풀링을 적용하여 통합적이고 컴act하며 희소한 표현을 생성 — 이는 '딥 어트리뷰트'로 명명됨.
• 분류기 피드백을 사용하여 유의미한 영역만 식별하고 유지함으로써 최종 표현에 대한 맥락 인식 영역 정제(CARR) 알고리즘 도입.
• 스케일 불변성 및 맥락 모델링 향상을 위해 다중 스케일 및 공간 피라미드 풀링 기법 탐색.
• 검색 설정에서 작업 전용 미세조정 없이도 결과로 도출된 딥 어트리뷰트 표현을 일반 특징으로 사용.

실험 결과

연구 질문

• RQ1 영역 제안의 소프트맥스 출력을 집약함으로써 글로벌 CNN 특징보다 더 컴act하고 의미적으로 의미 있는 이미지 표현을 얻을 수 있는가?
• RQ2 영역 수준의 딥 어트리뷰트에 대해 크로스-영역 최대 풀링이 다른 CNN 레이어의 풀링보다 인식 정확도를 향상시키는가?
• RQ3 분류기 피드백을 효과적으로 활용하여 영역 제안을 정제하고 맥락적으로 관련 있는 영역에 집중함으로써 모델 성능을 향상시킬 수 있는가?
• RQ4 딥 어트리뷰트가 사전 훈련된 ImageNet 데이터셋과 낮은 카테고리 겹침을 보이는 작업에 얼마나 일반화될 수 있는가?
• RQ5 딥 어트리뷰트의 희소성과 해석 가능성은 시각적 설명 및 대규모 효율적 구현을 지원하는 데 어떻게 기여하는가?

주요 결과

• 소프트맥스 레이어 출력의 크로스-영역 최대 풀링이 다른 모든 CNN 레이어 특징보다 우수하며, 소프트맥스 레이어의 의미 반응이 표현에 가장 효과적이다.
• 제안된 딥 어트리뷰트 프레임워크는 여러 벤치마크에서 이미지 분류, 미세한 차이 객체 인식, 시각적 인스턴스 검색 등에서 최신 기술 수준의 성능을 달성한다.
• 시각적 인스턴스 검색을 위한 Holidays 및 UKB 데이터셋에서, 다중 스케일 딥 어트리뷰트 방법은 94.2%의 정확도를 기록하여 이전 최신 기술 수준 방법(예: CNNaug-ss의 91.1%)을 뚜렷이 앞서 간다.
• 맥락 인식 영역 정제(CARR) 알고리즘이 가장 분류력 있는 영역에 집중함으로써 배경 노이즈를 억제함으로써 성능을 크게 향상시킨다.
• 딥 어트리뷰트는 본질적으로 희소적이며 해석 가능하므로, 분류기 가중치에서 역추적하여 각 이미지 및 카테고리의 가장 분류력 있는 영역를 시각화할 수 있다.
• 미세조정 없이도 ImageNet과의 카테고리 겹침이 거의 없는 데이터셋(예: Oxford 102 Flowers 데이터셋)에 대해도 딥 어트리뷰트가 잘 일반화되며, 강력한 전이 가능성(transferability)을 입증한다.