[논문 리뷰] Attention Convolutional Binary Neural Tree for Fine-Grained Visual Categorization

Ruyi Ji, Longyin Wen외 6명|arXiv (Cornell University)|2019. 09. 25.

Advanced Neural Network Applications참고 문헌 63인용 수 14

한 줄 요약

이 논문은 주어진 깊이를 갖는 이진 트리와 주목사용 강화된 컨volution 라우팅을 통해 거칠기에서 세밀한 계층적 특징 학습을 가능하게 하는 약한 지도 학습을 위한 주목사용 컨volution 라이트 이진 신경 트리(ACNet)를 제안한다. 이 방법은 ASPP를 통한 다중 척도 특징 추출과 라우팅 모듈 내의 전역적 맥락 모델링을 결합하여 CUB-200-2011, Stanford Cars, Aircraft 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Fine-grained visual categorization (FGVC) is an important but challenging task due to high intra-class variances and low inter-class variances caused by deformation, occlusion, illumination, etc. An attention convolutional binary neural tree architecture is presented to address those problems for weakly supervised FGVC. Specifically, we incorporate convolutional operations along edges of the tree structure, and use the routing functions in each node to determine the root-to-leaf computational paths within the tree. The final decision is computed as the summation of the predictions from leaf nodes. The deep convolutional operations learn to capture the representations of objects, and the tree structure characterizes the coarse-to-fine hierarchical feature learning process. In addition, we use the attention transformer module to enforce the network to capture discriminative features. The negative log-likelihood loss is used to train the entire network in an end-to-end fashion by SGD with back-propagation. Several experiments on the CUB-200-2011, Stanford Cars and Aircraft datasets demonstrate that the proposed method performs favorably against the state-of-the-arts.

연구 동기 및 목표

• 외부 요인(가림, 조명, 시점 변화 등)으로 인한 고유한 클래스 내 변동성 증가와 낮은 클래스 간 변동성 문제를 해결한다.
• 비용이 많이 드는 부위 수준의 애너테이션에 의존하지 않는 약한 지도 학습 방법을 개발한다.
• 주목 지도 라우팅을 갖춘 이진 트리로 구성된 네트워크를 통해 계층적이고 구별 가능한 특징 학습을 가능하게 한다.
• 트리 아키텍처에 주목 트랜스포머와 다중 척도 맥락 모델링을 통합하여 모델 성능을 향상시킨다.

제안 방법

• 각 노드가 루트에서 리프로 향하는 계산 경로를 결정하기 위한 라우팅 함수를 적용하는 고정 깊이의 이진 트리 아키텍처를 구축한다.
• 트리의 간선을 따라 컨볼루션 연산을 적용하여 거칠기에서 세밀한 수준으로의 계층적 특징을 학습한다.
• 각 노드에 주목 트랜스포머 모듈을 통합하여 구별 가능한 국소 영역을 강조하고 특징 표현을 향상시킨다.
• 라우팅 모듈에 전역 평균 풀링(GAP)과 전역 맥락 블록을 사용하여 맥락 정보를 집계하고 결정의 강건성을 향상시킨다.
• 주목 트랜스포머 내부에 ASPP(확장된 공간 피라미드 풀링) 모듈을 활용하여 확장 컨볼루션을 통해 다중 척도 맥락을 캡처한다.
• 모든 리프 노드의 예측을 최대 투표(max-voting) 방식으로 통합하고, 음의 로그우도 손실을 사용하여 경사 하강법 기반의 확률적 최적화로 전체 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 부위 애너테이션 없이도 주목 지도 라우팅을 갖춘 고정 깊이의 이진 신경 트리가 미세 분류 시각 분류에서 특징의 구별력을 향상시킬 수 있는가?
• RQ2 주목 트랜스포머와 ASPP 모듈의 통합이 미세 분류 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ3 비대칭 트리 아키텍처가 다양한 수신 영역을 포괄하고 정확도를 향상시키는 데 대칭 설계를 능가하는가?
• RQ4 전역 맥락 모델링과 풀링 전략(GAP 대비 GMP)이 라우팅 모듈의 효과성에 얼마나 큰 영향을 미치는가?
• RQ5 트리의 각 수준에서의 거칠기에서 세밀한 계층적 특징 학습이 미세 분류 인식 작업의 모델 성능을 얼마나 향상시키는가?

주요 결과

• 비대칭 트리 아키텍처를 사용하여 CUB-200-2011 데이터셋에서 87.8%의 top-1 정확도를 달성했으며, 대칭 버전보다 1.6% 높은 성능을 기록했다.
• 라우팅 모듈만을 갖춘 기준 모델 대비 주목 트랜스포머 모듈을 통합함으로써 평균 0.4%의 top-1 정확도 향상을 달성했다.
• 주목 트랜스포머 내부의 단일 컨볼루션 레이어를 ASPP 모듈로 교체함으로써 평균 0.5%의 top-1 정확도 향상을 기록했다.
• 라우팅 모듈에서 전역 맥락 블록을 제거하면 평균 0.275%의 top-1 정확도 감소가 발생하여, 맥락 통합에 있어 그 중요성을 입증했다.
• 라우팅 모듈에서 전역 평균 풀링(GAP)을 전역 최대 풀링(GMP)으로 대체할 경우 0.6%의 정확도 감소가 발생하여, GAP가 맥락 정보를 더 잘 유지하는 것으로 나타났다.
• 시각화 결과, 서로 다른 리프 노드들이 머리, 날개, 尾 등 서로 다른 구별 가능한 부분에 집중함을 확인하여, 가지 간 보완적인 특징 학습이 가능함을 입증했다.