[논문 리뷰] Multi-Label Image Classification with Regional Latent Semantic Dependencies

Junjie Zhang, Qi Wu외 3명|arXiv (Cornell University)|2016. 12. 04.

Text and Document Classification Technologies참고 문헌 7인용 수 16

한 줄 요약

이 논문은 다중 레이블 이미지 분류를 위한 지역 잠재 의미 관계(Regional Latent Semantic Dependencies, RLSD) 모델을 제안한다. 이 모델은 영역 제안과 순환 신경망(RNN)을 사용하여 지역 수준에서 레이블 간의 의존성을 포착한다. 소규모이고 의미적으로 관련된 객체를 국소화하고, 순환 네트워크를 통해 그들의 동시 발생을 모델링함으로써 RLSD는 특히 소형 객체에서 최신 기술 수준(SOTA) 성능을 달성하며, 훈련 시 바운딩 박스 애너테이션을 필요로 하지 않아도 MS-COCO와 NUS-WIDE에서 이전 방법들을 능가한다.

ABSTRACT

Deep convolution neural networks (CNN) have demonstrated advanced performance on single-label image classification, and various progress also have been made to apply CNN methods on multi-label image classification, which requires to annotate objects, attributes, scene categories etc. in a single shot. Recent state-of-the-art approaches to multi-label image classification exploit the label dependencies in an image, at global level, largely improving the labeling capacity. However, predicting small objects and visual concepts is still challenging due to the limited discrimination of the global visual features. In this paper, we propose a Regional Latent Semantic Dependencies model (RLSD) to address this problem. The utilized model includes a fully convolutional localization architecture to localize the regions that may contain multiple highly-dependent labels. The localized regions are further sent to the recurrent neural networks (RNN) to characterize the latent semantic dependencies at the regional level. Experimental results on several benchmark datasets show that our proposed model achieves the best performance compared to the state-of-the-art models, especially for predicting small objects occurred in the images. In addition, we set up an upper bound model (RLSD+ft-RPN) using bounding box coordinates during training, the experimental results also show that our RLSD can approach the upper bound without using the bounding-box annotations, which is more realistic in the real world.

연구 동기 및 목표

• 다중 레이블 이미지 분류에서 소형 객체와 시각적 개념을 정확하게 예측하는 데 도전한다.
• 전체 이미지 수준뿐만 아니라 지역 수준에서도 레이블 간 의존성을 모델링하여 의미적 이해를 향상시킨다.
• 훈련 시 바운딩 박스 애너테이션에 의존하지 않도록 하는 방법을 개발하여 실세계 적용 가능성을 높인다.
• 특히 미세한 구조와 소규모 시각적 개념을 예측하는 데 있어 기존 최신 기술 수준 모델을 능가한다.

제안 방법

• 모델은 입력 이미지의 특징을 추출하기 위해 완전 컨volution 네트워크를 사용한다.
• 후보 영역을 국소화하기 위해 RPN 유사 모듈을 활용하여 다수의 의미적으로 관련된 레이블을 포함할 수 있는 영역을 식별한다.
• 국소화된 영역는 완전 연결 네트워크를 통해 인코딩되고, 이는 순환 신경망(RNN)에 입력되어 지역 수준에서 레이블 간의 잠재적 의미적 의존성을 모델링한다.
• RNN은 영역 특징을 순차적으로 처리하여 이전 예측의 맥락을 기반으로 다중 레이블 예측을 생성한다.
• 모든 영역의 예측을 융합하기 위해 최대 풀링 연산을 수행하여 최종 다중 레이블 출력을 생성한다.
• 모델는 교차 엔트로피 또는 랭킹 손실을 사용하여 엔드 투 엔드로 훈련되며, 비교를 위해 진정한 바운딩 박스를 사용하는 상한선 버전(RLSD+ft-RPN)도 평가된다.

실험 결과

연구 질문

• RQ1 지역 수준에서 레이블 간 의존성을 모델링하면, 특히 소형 객체에서 다중 레이블 이미지 분류 성능이 향상되는가?
• RQ2 지역 특징 모델링은 전체 특징 모델링에 비해 의미적 동시 발생 패턴을 얼마나 잘 포착하는가?
• RQ3 훈련 시 바운딩 박스 애너테이션이 필요 없이 얼마나 높은 성능을 달성할 수 있는가?
• RQ4 바운딩 박스 애너테이션이 훈련 시 이용 가능한 경우, 제안된 RLSD 모델이 상한선 성능에 얼마나 가까이 다가갈 수 있는가?

주요 결과

• MS-COCO 데이터셋에서 RLSD는 O-F1 60.3%와 mAP 54.1%를 기록하여 CNN-RNN보다 O-F1에서 5.1% 향상되고 mAP에서 4.9% 향상되었다.
• 소형 객체인 '새', '소방호스 노출대', '연'에 대해 RLSD는 정밀도-재현율 곡선을 통해 기준 모델보다 뚜렷이 뛰어난 성능을 보였다.
• NUS-WIDE에서 RLSD는 O-F1 60.3%와 mAP 54.1%를 기록하여 이전 SOTA 모델인 CNN-RNN보다 O-F1에서 4.9% 높고 mAP에서도 4.9% 높았다.
• 진짜 바운딩 박스를 훈련 시 사용하는 RLSD+ft-RPN 버전은 O-F1 68.2%를 기록하여, RLSD가 이러한 애너테이션 없이도 상한선에 근접할 수 있음을 보여주었다.
• 모델는 소형 객체에서 CNN+LSTM보다 더 높은 재현율을 달성하여, 미세한 구조적 및 소규모 시각적 개념에 대해 더 민감한 감지 능력을 보였다.
• 정성적 결과에서는 RLSD가 다른 모델이 놓치는 소형 객체인 ' botte', '花瓶', '와인 글라스'까지 성공적으로 예측하는 데 성공했다.