[논문 리뷰] Deep Attentional Structured Representation Learning for Visual Recognition

Krishna Kanth Nakka, Mathieu Salzmann|arXiv (Cornell University)|2018. 05. 01.

Domain Adaptation and Few-Shot Learning인용 수 3

한 줄 요약

이 논문은 추가적인 감독 없이 훈련 중에 이미지 클래스 레이블을 동시에 예측하고 이미지 고유의 주의 맵을 학습하는 엔드 투 엔드 딥 어텐션 기반 구조적 표현 학습 프레임워크를 제안한다. 분류 작업에서 유의미한 이미지 영역에 집중적으로 집계함으로써, 시나리오 인식 및 미세 분류 벤치마크에서 최신 기술 수준의 성능을 달성하며, 모든 영역을 동일하게 처리하는 기존의 구조적 표현 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Structured representations, such as Bags of Words, VLAD and Fisher Vectors, have proven highly effective to tackle complex visual recognition tasks. As such, they have recently been incorporated into deep architectures. However, while effective, the resulting deep structured representation learning strategies typically aggregate local features from the entire image, ignoring the fact that, in complex recognition tasks, some regions provide much more discriminative information than others. In this paper, we introduce an attentional structured representation learning framework that incorporates an image-specific attention mechanism within the aggregation process. Our framework learns to predict jointly the image class label and an attention map in an end-to-end fashion and without any other supervision than the target label. As evidenced by our experiments, this consistently outperforms attention-less structured representation learning and yields state-of-the-art results on standard scene recognition and fine-grained categorization benchmarks.

연구 동기 및 목표

• 기존의 구조적 표현 학습 방법이 모든 이미지 영역에 대해 특징을 균일하게 집계하여 지역적 분류 능력을 忽시하는 한계를 해결하기 위해.
• 이미지 수준의 분류 레이블만을 감독으로 사용하여 엔드 투 엔드 훈련 중에 이미지 고유의 어텐션 맵을 학습하는 딥 러닝 프레임워크를 개발하기 위해.
• 시나리오 인식 및 미세 분류와 같은 복잡한 시각적 인식 작업에서 정보가 풍부한 局부 특징을 강조함으로써 성능을 향상시키기 위해.

제안 방법

• 분류 작업에 대한 관련성이 높은 국소 특징의 가중치를 동적으로 조정할 수 있도록, 구조적 표현 학습 파이프라인 내에 어텐션 메커니즘을 통합한다.
• 이미지 수준의 레이블만을 감독으로 사용하여, 이미지 분류와 어텐션 맵 예측을 동시에 최적화하기 위해 모델을 엔드 투 엔드로 훈련시킨다.
• 공간 어텐션 맵을 생성하는 미분 가능한 어텐션 모듈을 사용하며, 이는 국소 특징에 적용된 후 구조적 표현으로의 집계에 사용된다.
• VLAD 또는 피셔 벡터와 같은 표준 구조적 표현 구성 요소를 사용하지만, 어텐션 기반 특징 가중치 적용 이후에 이를 적용한다.
• 어텐션 메커니즘은 역전파 동안 학습되며, 네트워크가 의미적으로 중요한 이미지 영역을 자동으로 식별하고 강조할 수 있도록 한다.
• 이 프레임워크는 다양한 딥 특징과 구조적 표현 유형과 호환되며, 다양한 인식 작업에 대한 탄력적인 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드로 훈련 가능한 어텐션 메커니즘이 시각 인식에서 구조적 표현의 분류 능력을 향상시킬 수 있는가?
• RQ2 복잡한 인식 작업에서 모든 이미지 영역에 대해 균일하게 집계하는 것과 비교해, 어텐션 기반 특징 집계 방식은 어떤가?
• RQ3 박스나 픽셀 수준의 애너테이션 없이 이미지 수준의 레이블만으로 어텐션 맵을 효과적으로 학습시킬 수 있는가?
• RQ4 구조적 표현 학습에 어텐션을 통합하면 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 시나리오 인식 및 미세 분류와 같은 다양한 시각적 인식 작업에서 제안된 방법은 얼마나 견고한가?

주요 결과

• 제안된 어텐션 기반 구조적 표현 학습 프레임워크는 어텐션 메커니즘을 사용하지 않는 기존의 구조적 표현 학습 방법보다 일관되게 뛰어난 성능을 보인다.
• 표준 시나리오 인식 벤치마크에서 최신 기술 수준의 성능을 달성하며, 뛰어난 일반화 능력과 분류 능력을 입증한다.
• 어텐션 메커니즘이 의미적으로 관련된 이미지 영역을 성공적으로 식별하고 강조하여, 추가적인 감독 없이도 특징 표현의 품질을 향상시킨다.
• 엔드 투 엔드 훈련 체계는 분류와 어텐션의 공동 최적화를 가능하게 하여, 보다 일관되고 작업에 특화된 어텐션 맵을 생성한다.
• 이 방법은 미세 분류와 같이 미세한 시각적 차이가 중요한 다양한 데이터셋과 작업에 대해 잘 일반화된다.