[논문 리뷰] Weakly Supervised Bilinear Attention Network for Fine-Grained Visual Classification

Tao Hu, Jizheng Xu외 4명|arXiv (Cornell University)|2018. 08. 06.

Advanced Neural Network Applications참고 문헌 27인용 수 9

한 줄 요약

이 논문은 약한 감독을 사용하는 이원형 주의 메커니즘 네트워크(WS-BAN)를 제안한다. 이는 학습 가능한 주의 맵을 통해 다중 객체 부위를 동시에 국소화하고, 이원형 주의 풀링(BAP)을 사용해 구별 능력 있는 특징을 추출하는 엔드 투 엔드 프레임워크이다. 약한 감독 학습을 위해 주의 정규화와 드롭아웃을 도입함으로써, CUB-200-2011, 스탠포드 카스, FGVC-Aircraft에서 각각 92.3%, 93.6%, 88.8%의 상위-1 정확도로 최신 기준 성능을 달성한다.

ABSTRACT

For fine-grained visual classification, objects usually share similar geometric structure but present variant local appearance and different pose. Therefore, localizing and extracting discriminative local features play a crucial role in accurate category prediction. Existing works either pay attention to limited object parts or train isolated networks for locating and classification. In this paper, we propose Weakly Supervised Bilinear Attention Network (WS-BAN) to solve these issues. It jointly generates a set of attention maps (region-of-interest maps) to indicate the locations of object's parts and extracts sequential part features by Bilinear Attention Pooling (BAP). Besides, we propose attention regularization and attention dropout to weakly supervise the generating process of attention maps. WS-BAN can be trained end-to-end and achieves the state-of-the-art performance on multiple fine-grained classification datasets, including CUB-200-2011, Stanford Car and FGVC-Aircraft, which demonstrated its effectiveness.

연구 동기 및 목표

• 내부 클래스 변동성과 미세한 종 간 차이로 인해 정확한 인식이 어려운 미세한 시각적 분류 문제를 해결한다.
• 기존의 약한 감독 방법들이 몇몇 객체 부위에만 집중하고 덜 구별적인 영역을 간과하는 한계를 극복한다.
• 엔드 투 엔드 방식으로 주의 맵과 부위 특징을 함께 학습함으로써 부위 국소화 및 특징 표현을 향상시킨다.
• 부위 수준의 레이블이 아닌 이미지 수준의 레이블만을 사용함으로써 비용이 많이 드는 부위 레이블링에 대한 의존도를 줄인다.
• 정규화와 드롭아웃을 통해 다수의 부위에 주의를 기울이도록 유도함으로써, 가림과 시점 변화에 대한 모델의 강건성을 향상시킨다.

제안 방법

• 특징 맵과 학습 가능한 주의 맵의 원소별 곱셈을 통해 부위 특징 행렬을 생성하고, 이에 따라 컨볼루션과 전역 풀링을 수행하는 이원형 주의 풀링(BAP)을 제안한다.
• 동일한 카테고리의 부위 특징을 공유 중심으로 끌어당기는 주의 정규화를 도입하여 일관된 부위 표현을 장려한다.
• 학습 중 주의 맵을 무작위로 비활성화하는 주의 드롭아웃을 적용하여, 네트워크가 덜 구별적인 부위에도 주의를 기울이도록 유도하고 일반화 능력을 향상시킨다.
• 최종 주의 맵을 채널 평균을 통해 처리하고 임계값 설정을 통해 바운딩 박스를 생성함으로써 객체 부위 국소화 마스크로 활용한다.
• 이미지 수준의 카테고리 레이블만을 사용하여 전체 네트워크를 엔드 투 엔드로 학습함으로써, 부위 레이블 없이도 약한 감독 학습을 가능하게 한다.
• 초기 특징 맵을 추출하기 위해 깊은 컨볼루션 신경망(예: ResNet)을 사용하고, 이를 BAP 모듈과 주의 헤드가 처리한다.

실험 결과

연구 질문

• RQ1 부위 수준의 레이블이 필요 없이 약한 감독 방법이 다수의 미세한 객체 부위를 효과적으로 국소화할 수 있는가?
• RQ2 주의 맵과 부위 특징을 함께 학습하는 것이 단지 몇몇 부위에 집중하는 방법에 비해 분류 정확도를 어떻게 향상시키는가?
• RQ3 주의 정규화와 드롭아웃이 부위 국소화의 다양성과 강건성에 얼마나 기여하는가?
• RQ4 모델이 생성한 주의 맵을 효과적으로 객체 국소화 및 바운딩 박스 예측에 사용할 수 있는가?
• RQ5 주의 맵의 수가 정확도와 국소화 품질 측면에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• FGVC-Aircraft 데이터셋에서 WS-BAN은 기존의 MPN-COV(93.3%)와 MAMC(93.0%)를 뛰어넘는 최신 기준 상위-1 정확도 92.3%를 달성한다.
• CUB-200-2011 데이터셋에서 WS-BAN은 RA-CNN(88.4%)과 MA-CNN(89.9%)를 능가하는 92.3%의 정확도를 기록하여 새우류 종 분류에서 뛰어난 성능을 보인다.
• 스탠포드 카스 데이터셋에서 WS-BAN은 93.6%의 정확도를 달성하여 이전 최신 기준 방법인 MPN-COV(93.3%)와 MAMC(93.0%)를 초월한다.
• CUB-200-2011에서의 객체 국소화 오차는 WS-BAN을 통해 28.2%로 크게 감소하였으며, GoogLeNet-GAP(59.0%)와 VGGnet-ACoL(54.1%)보다 뚜렷이 낮아 국소화 능력 향상을 확인할 수 있다.
• 주의 맵의 수를 4에서 128로 늘임으로써 분류 정확도는 85.9%에서 88.8%로, mIOU는 53.4%에서 58.2%로 향상되어 더 많은 부위가 더 나은 성능을 이끌어낸다는 것을 보여준다.
• 시각화 결과는 주의 정규화와 드롭아웃을 적용한 경우 주의 맵이 머리, 날개, 몸통 등의 객체 부위에 균일하게 분포하는 반면, 기준 BAP만을 사용할 경우 주의 맵이 흐릿하고 일관성 없이 분포한다는 것을 확인한다.