[논문 리뷰] Three-branch and Mutil-scale learning for Fine-grained Image Recognition (TBMSL-Net)

Fan Zhang, Guisheng Zhai외 2명|arXiv (Cornell University)|2020. 03. 20.

Advanced Neural Network Applications참고 문헌 11인용 수 16

한 줄 요약

이 논문은 주어진 이미지 유형 세 가지—원본 이미지, 객체 컷팅 이미지, 파트 컷팅 이미지—를 사용하여 엔드 투 엔드로 훈련 가능한 네트워크를 통해 빠른 추론을 제공하는 다중지점, 다중스케일 학습 프레임워크인 TBMSL-Net을 제안한다. 이는 주어진 애너테이션 없이 객체 중심 및 파트 특화 영역을 생성하는 주의 기반 객체 위치 모듈(AOLM)과 주의 기반 파트 제안 모듈(APPM)을 사용한다. 이 방법은 CUB-200-2011, FGVC-Aircraft, Stanford Cars에서 최신 기술 성능을 달성한다.

ABSTRACT

ImageNet Large Scale Visual Recognition Challenge (ILSVRC) is one of the most authoritative academic competitions in the field of Computer Vision (CV) in recent years. But applying ILSVRC's annual champion directly to fine-grained visual categorization (FGVC) tasks does not achieve good performance. To FGVC tasks, the small inter-class variations and the large intra-class variations make it a challenging problem. Our attention object location module (AOLM) can predict the position of the object and attention part proposal module (APPM) can propose informative part regions without the need of bounding-box or part annotations. The obtained object images not only contain almost the entire structure of the object, but also contains more details, part images have many different scales and more fine-grained features, and the raw images contain the complete object. The three kinds of training images are supervised by our multi-branch network. Therefore, our multi-branch and multi-scale learning network(MMAL-Net) has good classification ability and robustness for images of different scales. Our approach can be trained end-to-end, while provides short inference time. Through the comprehensive experiments demonstrate that our approach can achieves state-of-the-art results on CUB-200-2011, FGVC-Aircraft and Stanford Cars datasets. Our code will be available at this https URL

연구 동기 및 목표

• 작은 클래스 간 차이와 큰 클래스 내 변동성이 성능을 저하시키는 미세 분류 시각 분류(FGVC) 문제를 해결하기 위해.
• 경계 상자 또는 파트 애너테이션에 의존하지 않고 엔드 투 엔드로 객체 및 파트 위치를 학습하기 위해.
• 원본, 객체, 파트 이미지에 대한 다중스케일 및 다중브랜치 훈련을 통해 모델의 강건성과 특징의 풍부함을 향상시키기 위해.
• 최소한의 감독과 함께 빠른 추론을 통해 표준 FGVC 벤치마크에서 최신 기술 성능을 달성하기 위해.

제안 방법

• 주의 기반 객체 위치 모듈(AOLM)은 경계 상자 애너테이션 없이도 이미지 내 객체의 공간적 위치를 예측한다.
• 주의 기반 파트 제안 모듈(APPM)은 파트 수준의 애너테이션 없이도 유의미한 파트 영역 제안을 생성하며, 분류에 유용한 국소적 특징에 집중한다.
• 세 가지 서로 다른 이미지 유형—원본 이미지, 객체 컷팅 이미지, 파트 컷팅 이미지—가 다중브랜치 네트워크의 입력으로 사용되어 공동 훈련된다.
• 다중브랜치 및 다중스케일 학습 네트워크(MMAL-Net)는 브랜치 간 특징을 융합하여 분류 정확도와 척도 불변성을 향상시킨다.
• 전체 네트워크는 엔드 투 엔드로 훈련되어 다양한 수준의 감독 하에서 효율적이고 효과적인 특징 학습이 가능하다.
• 프레임워크는 빠른 추론을 위해 설계되어 실시간 응용에 적합하다.

실험 결과

연구 질문

• RQ1 미세 분류 인식에서 경계 상자 또는 파트 애너테이션이 없는 엔드 투 엔드로 훈련 가능한 네트워크가 객체 및 파트를 국지화할 수 있는가?
• RQ2 다중브랜치, 다중스케일 학습은 높은 클래스 내 변동성을 가지는 미세 분류 데이터셋에서 성능을 어떻게 향상시키는가?
• RQ3 원본 이미지 외에 객체 컷팅 및 파트 컷팅 이미지의 기여도는 분류 정확도에 어떻게 영향을 미치는가?
• RQ4 주의 기반 모듈이 제로샷 또는 약한 감독된 FGVC 환경에서 기존의 영역 제안 방법보다 우수한 성능을 내는가?
• RQ5 제안된 방법은 표준 FGVC 벤치마크에서 최신 기술 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 TBMSL-Net는 파트 애너테이션을 사용하지 않아도 CUB-200-2011 데이터셋에서 최신 기술 성능을 달성한다.
• FGVC-Aircraft 데이터셋에서 모델는 다양한 항공기 종류와 미세한 차이를 가진 클래스 간 강력한 일반화 및 강건성을 보여준다.
• Stanford Cars 벤치마크 결과는 미세한 시각적 차이를 가지는 카테고리에 대해 모델의 효과성을 확인한다.
• 절단 실험 결과, 다중브랜치 학습을 통해 원본, 객체, 파트 이미지를 융합하면 단일 브랜치 기반 모델보다 정확도가 크게 향상됨을 보여준다.
• 모델는 빠른 추론 시간을 기록하여 다중브랜치 아키텍처임에도 불구하고 실시간 응용에 적합함을 시사한다.
• 코드는 공개될 예정이며, 이는 약한 감독된 미세 분류 인식 분야의 재현 가능성과 향후 연구를 가능하게 한다.