[논문 리뷰] Weakly Supervised Complementary Parts Models for Fine-Grained Image Classification from the Bottom Up

Weifeng Ge, Xiangru Lin외 1명|arXiv (Cornell University)|2019. 03. 07.

Advanced Neural Network Applications참고 문헌 51인용 수 12

한 줄 요약

이 논문은 약한 지도 학습 기반 보완적 부분 모델을 제안하여, 반복적인 Mask R-CNN 및 CRF 기반 인스턴스 세분화를 통해 다양한 비지배적 객체 부분을 탐색하고, 이들을 双방향 LSTM을 통해 융합함으로써 정밀한 이미지 분류 정확도를 향상시킨다. 이 방법은 최신 기술 수준을 초월하여 Stanford Dogs 120, Caltech-UCSD Birds 2011-200, Caltech 256에서 각각 6.7%, 2.8%, 5.2% 향상된 성능을 기록한다.

ABSTRACT

Given a training dataset composed of images and corresponding category labels, deep convolutional neural networks show a strong ability in mining discriminative parts for image classification. However, deep convolutional neural networks trained with image level labels only tend to focus on the most discriminative parts while missing other object parts, which could provide complementary information. In this paper, we approach this problem from a different perspective. We build complementary parts models in a weakly supervised manner to retrieve information suppressed by dominant object parts detected by convolutional neural networks. Given image level labels only, we first extract rough object instances by performing weakly supervised object detection and instance segmentation using Mask R-CNN and CRF-based segmentation. Then we estimate and search for the best parts model for each object instance under the principle of preserving as much diversity as possible. In the last stage, we build a bi-directional long short-term memory (LSTM) network to fuze and encode the partial information of these complementary parts into a comprehensive feature for image classification. Experimental results indicate that the proposed method not only achieves significant improvement over our baseline models, but also outperforms state-of-the-art algorithms by a large margin (6.7%, 2.8%, 5.2% respectively) on Stanford Dogs 120, Caltech-UCSD Birds 2011-200 and Caltech 256.

연구 동기 및 목표

• 딥 컨volution 신경망이 이미지 분류에서 유일하게 가장 구분력 있는 부분에 집중하는 데서 비롯되는 한계를 해결하기 위해, 다른 객체 부분으로부터의 보완 정보를 놓치지 않도록 하는 것.
• 경계 상자나 부분 수준의 애너테이션을 요구하지 않고도 다수의 보완적 객체 부분을 검색하고 융합할 수 있는 약한 지도 학습 방법을 개발하는 것.
• 모든 부분의 기술적 묘사가 함께 더불어 보다 완전한 표현을 형성하도록 부분을 모델링하여 미세한 이미지 분류 성능을 향상시키는 것.
• 다양하고 보완적인 부분들을 통합된 특징 표현으로 인코딩하는 효과적인 융합 메커니즘을 설계하는 것.

제안 방법

• 사전 훈련된 분류기에서 유도된 클래스 활성화 맵(CAM)을 약한 지도 학습 기반 객체 탐지의 초기 확률 맵으로 사용한다.
• 저수준의 외관 특징을 활용하여 픽셀 단위의 세분화를 정교화하기 위해 조건부 랜덤 필드(CRF)를 적용하여 초기 객체 인스턴스 마스크를 생성한다.
• CRF로 생성된 마스크를 기반으로 훈련된 Mask R-CNN을 반복적으로 적용하여 객체 제안을 정밀화하고, 정밀도 향상을 위해 CRF와 번갈아가며 적용한다.
• 검출된 인스턴스 주변에서 다양성과 정보 커버리지가 최대가 되는 객체 제안을 선택함으로써 최적의 보완적 부분 조합을 탐색한다.
• 다양한 보완적 부분에서 유도된 깊이 특징을 통합된 표현으로 인코딩하고 융합하기 위해 양방향 스타킹된 장기 순환 신경망(LSTM)을 활용한다.
• LSTM 훈련 중에 특징 학습을 정규화하고 구분력을 향상시키기 위해 다수의 손실 함수를 도입한다.

실험 결과

연구 질문

• RQ1 약한 지도 학습 기반 객체 탐지 및 인스턴스 세분화가 표준 CNN이 간과하는 보완적 객체 부분을 효과적으로 복원할 수 있는가?
• RQ2 보완적 부분을 어떻게 선택하고 모델링하여 정보 다양성을 극대화하고 중복을 최소화할 수 있는가?
• RQ3 LSTM 아키텍처를 통해 다수의 보완적 부분 특징을 융합하면, 지배적 부분만을 기반으로 하는 모델보다 분류 성능이 향상되는가?
• RQ4 LSTM 내에서 부분의 순서가 분류 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• GoogleNet을 사용하여 Caltech-UCSD Birds 2011-200에서 93.5%의 정확도를 기록하여 베이스라인 대비 9.4%포인트 향상되고 최신 기술 수준 대비 5.2% 향상된 성능을 달성했다.
• Stanford Dogs 120에서 93.9%의 정확도를 기록하여 이전 최신 기술 수준 대비 6.7% 향상되었다.
• Caltech 256에서 SJFT 베이스라인을 사용할 경우 86.3%의 정확도를 기록하였으며, 제안된 스태킹된 LSTM 모듈을 적용할 경우 8.0% 향상되었다.
• 제거 실험 결과, 무작위 또는 격자 기반 부분 초기화를 사용할 경우 정확도가 각각 85.9%와 78.3%로 떨어지며, 제안된 부분 탐색 메커니즘이 중요함을 입증했다.
• 스태킹된 LSTM을 제거하고 특징 연결 또는 평균화로 대체할 경우 정확도가 각각 5.8%와 8.7% 감소하여 LSTM 기반 융합의 우수성을 입증했다.
• LSTM 내에서 부분 순서를 무작위로 섞어도 성능이 안정적으로 유지되어, 모델이 부분 순서에 대해 강건함을 보였다.