[논문 리뷰] Can Partial Strong Labels Boost Multi-label Object Recognition?

Hao Yang, Joey Tianyi Zhou외 4명|arXiv (Cornell University)|2015. 04. 22.

Image Retrieval and Classification Techniques참고 문헌 7인용 수 6

한 줄 요약

이 논문은 부분 강한 레이블과 약한 레이블을 활용하여 다중 레이블 객체 인식 성능을 향상시키는 다중 시각 다중 인스턴스 딥 러닝 프레임워크를 제안한다. 객체 제안 추출과 이중 시각 표현 학습을 통해 다중 레이블 이미지를 다중 인스턴스 학습 문제로 변환함으로써 특징의 구분 능력과 일반화 능력을 향상시키며, 매우 깊은 네트워크와 조합할 경우 두 개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Convolutional neural networks (CNN) have shown great performance as a global representation for object recognition. However, for multi-label images that contain multiple objects from different categories, scales and locations, single CNN features might not be be optimal. To enhance the robustness and discriminative power of CNN features for multi-label object recognition problem, we propose a multi-view multi-instance framework. This framework transforms the multi-label classification problem into a multi-class multi-instance learning problem by extracting object proposals from images. A multi-view pipeline is then applied to generate a two-view representation of each proposal by exploiting two levels of labels in multi-label recognition problem. The proposed framework not only has the flexibility of utilizing both weak and strong labels or just weak labels, but also holds the generalization ability to boost the performance of unseen categories by available strong labels. Our framework is extensively compared with state-of-the-art hand-crafted feature based and CNN based methods on two multi-label benchmark datasets. The experimental results validate the discriminative power and generalization ability of the proposed framework. When combined with a very-deep network, we can achieve state-of-the-art results in both datasets.

연구 동기 및 목표

• 다양한 척도와 위치를 가진 다중 레이블 이미지에서 다양한 객체를 포괄하는 데에 한계가 있는 단일 CNN 특징의 문제를 해결하기 위해.
• 다중 레이블 객체 인식을 위한 깊이 신경망 특징의 구분 능력과 강건성을 향상시키기 위해.
• 통합된 프레임워크 내에서 약한 레이블과 부분 강한 레이블을 효과적으로 활용할 수 있도록 하기 위해.
• 가용한 강한 레이블을 활용하여 미리 보지 않은 카테고리로의 일반화 능력을 향상시키기 위해.
• 기존 수작업 특징 기반 및 CNN 기반 방법보다 우수한 성능을 보이는 융통성 있고 일반화 능력이 뛰어난 프레임워크를 개발하기 위해.

제안 방법

• 이미지에서 객체 제안을 추출하여 다중 레이블 분류 문제를 다중 클래스 다중 인스턴스 학습 문제로 변환하기.
• 약한 레이블(이미지 수준에서)과 강한 레이블(객체 수준의 애너테이션에서)을 두 수준의 레이블로 사용하여 각 제안에 대해 이중 시각 표현을 생성하기.
• 약한 레이블과 강한 레이블 신호를 동시에 최적화할 수 있도록 다중 시각 학습 파이프라인을 적용하기.
• 계층적 특징 학습을 활용하기 위해 매우 깊은 합성곱 신경망과 프레임워크를 통합하기.
• 전체 인스턴스 수준 애너테이션이 필요 없이 부분 강한 레이블을 활용하여 특징의 구분 능력을 향상시키기.
• 가용한 강한 레이블을 활용하여 새로운 카테고리로의 일반화 능력을 유지할 수 있도록 프레임워크를 설계하기.

실험 결과

연구 질문

• RQ1 약한 레이블과 함께 부분 강한 레이블이 다중 레이블 객체 인식 성능을 크게 향상시킬 수 있는가?
• RQ2 제안된 다중 시각 다중 인스턴스 프레임워크는 표준 CNN에 비해 특징의 구분 능력을 얼마나 향상시키는가?
• RQ3 강한 레이블의 일부만을 사용할 경우, 프레임워크가 얼마나 잘 미리 보지 않은 카테고리로 일반화되는가?
• RQ4 표준 다중 레이블 벤치마크에서, 프레임워크는 최신 기술 수준의 수작업 특징 기반 및 CNN 기반 방법과 비교해 어떻게 성능을 내는가?
• RQ5 매우 깊은 네트워크와 프레임워크를 조합했을 때, 인식 정확도에 어떤 영향을 미치는가?

주요 결과

• 매우 깊은 네트워크와 조합했을 때, 제안된 프레임워크는 두 개의 다중 레이블 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 부분 강한 레이블의 통합이 특징의 구분 능력과 인식 정확도를 크게 향상시킨다.
• 가용한 강한 레이블을 효과적으로 활용함으로써 프레임워크는 미리 보지 않은 카테고리로 잘 일반화된다.
• 다중 시각 다중 인스턴스 학습 파이프라인은 수작업 특징 기반 및 표준 CNN 기반 방법보다 우수한 성능을 보인다.
• 강한 레이블의 일부만 존재하더라도 프레임워크는 강력한 성능을 유지하며, 레이블 활용의 융통성과 유연성을 입증한다.