[논문 리뷰] Deep Semantic Dictionary Learning for Multi-label Image Classification

Fengtao Zhou, Sheng Huang외 1명|arXiv (Cornell University)|2020. 12. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 43인용 수 13

한 줄 요약

이 논문은 다중 레이블 이미지 분류를 위한 엔드 투 엔드 모델인 딥 세마틱 딕셔너리 학습(DSDL)을 제안한다. DSDL은 딥 딕셔너리 학습을 통해 레이블, 세마틱, 시각적 공간을 통합한다. 오토인코더를 사용해 클래스 수준의 세마틱 정보로부터 세마틱 딕셔너리를 생성하고, CNN 특징을 레이블 임베딩을 통해 표현함으로써, PASCAL VOC 및 COCO 벤치마크에서 최신 기술을 초월하는 성능을 달성한다. 특히, ResNet101 기반 모델보다 mAP에서 최대 4.6% 향상된다.

ABSTRACT

Compared with single-label image classification, multi-label image classification is more practical and challenging. Some recent studies attempted to leverage the semantic information of categories for improving multi-label image classification performance. However, these semantic-based methods only take semantic information as type of complements for visual representation without further exploitation. In this paper, we present an innovative path towards the solution of the multi-label image classification which considers it as a dictionary learning task. A novel end-to-end model named Deep Semantic Dictionary Learning (DSDL) is designed. In DSDL, an auto-encoder is applied to generate the semantic dictionary from class-level semantics and then such dictionary is utilized for representing the visual features extracted by Convolutional Neural Network (CNN) with label embeddings. The DSDL provides a simple but elegant way to exploit and reconcile the label, semantic and visual spaces simultaneously via conducting the dictionary learning among them. Moreover, inspired by iterative optimization of traditional dictionary learning, we further devise a novel training strategy named Alternately Parameters Update Strategy (APUS) for optimizing DSDL, which alternately optimizes the representation coefficients and the semantic dictionary in forward and backward propagation. Extensive experimental results on three popular benchmarks demonstrate that our method achieves promising performances in comparison with the state-of-the-arts. Our codes and models have been released at {https://github.com/ZFT-CQU/DSDL}.

연구 동기 및 목표

• 이미지에 복잡한 공간 배열과 상호작용을 가진 다수의 객체가 포함되어 있는 다중 레이블 이미지 분류의 과제를 해결하기 위해.
• 기존 방법들이 세마틱 정보를 시각적 특징과의 보조 정보로만 간주하고, 레이블, 세마틱, 시각적 공간 간의 상관관계를 모델링하지 못하는 한계를 극복하기 위해.
• 엔드 투 엔드 딕셔너리 학습을 통해 동시에 레이블, 세마틱, 시각적 표현을 활용하고 조율하는 딥 러닝 프레임워크를 개발하기 위해.
• 백프로파게이션 동안 표현 계수와 세마틱 딕셔너리를 번갈아 최적화하는 새로운 학습 전략을 도입하기 위해.

제안 방법

• DSDL은 다중 레이블 이미지 분류 문제를 딕셔너리 학습 문제로 모델링하며, 오토인코더를 사용해 클래스 수준의 세마틱 정보로부터 세마틱 딕셔너리를 학습한다.
• CNN으로 추출한 시각적 특징은 학습된 세마틱 딕셔너리를 사용한 딕셔너리 쿼리로 희박 계수로 표현된다.
• 재구성 및 분류 항목을 포함하는 병합 손실 함수를 최소화함으로써, 시각적 재구성과 레이블 예측을 함께 최적화한다.
• 새로운 번갈아 매개변수 업데이트 전략(APUS)은 전방 전파에서 표현 계수를 업데이트하고, 역방향 전파에서 세마틱 딕셔너리를 최적화하는 방식으로 번갈아 수행된다.
• 세마틱 딕셔너리는 워드 임베딩에서 초기화되며, 학습 과정에서 엔드 투 엔드로 개선되어 시각적 특징 공간과 일치하도록 한다.
• 이 방법은 딕셔너리 학습을 백프로파게이션 과정에 통합하여, 세마틱 딕셔너리 학습을 매개변수 갱신 과정에 암묵적으로 통합한다.

실험 결과

연구 질문

• RQ1 딥 딕셔너리 학습은 다중 레이블 이미지 분류에서 레이블, 세마틱, 시각적 공간을 효과적으로 통합할 수 있는가?
• RQ2 학습된 딕셔너리를 통한 세마틱 정보 통합은 세마틱 정보를 보조 정보로 간주하는 것보다 성능 향상에 어떤 영향을 미치는가?
• RQ3 표현 계수와 세마틱 딕셔너리 간의 번갈아 최적화가 모델 수렴과 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 DSDL 모델은 표준 다중 레이블 벤치마크에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• PASCAL VOC 2007 데이터셋에서, DSDL은 더 단순한 백본을 사용함에도 불구하고, DELTA, ML-GCN, CoP보다 각각 mAP에서 3.3%, 0.9%, 0.6% 높은 성능을 기록한다.
• PASCAL VOC 2012에서 DSDL은 가장 높은 mAP를 기록했으며, 두 번째로 좋은 방법보다 1.0% 향상되었고, 모든 객체 카테고리에서 최상위 모델과 거의 유사한 성능을 보였다.
• COCO 데이터셋에서 DSDL은 최고의 mAP, CF1, OF1 점수를 기록했으며, ALL 케이스에서 mAP 76.7%, OF1 79.1%를 기록했고, 순수한 ResNet101보다 mAP에서 4.4% 높았다.
• COCO에서 DSDL은 ResNet-SRN, ResNet101-ACfs, CoP보다 각각 mAP에서 4.6%, 4.2%, 0.6% 높은 성능을 보였으며, 일관된 우월성을 입증했다.
• 절단 실험 결과, λ와 β의 다양한 하이퍼파라미터 설정에서도 모델이 안정적으로 작동하며, VOC의 최적 설정은 λ=10, β=10⁻⁴이고, COCO의 최적 설정은 λ=0.1, β=10⁻⁶이다.
• 디렉터리 손실(β=0)이 없어도 모델이 효과적으로 작동함을 확인하여, APUS 전략이 최적화 과정에 암묵적으로 딕셔너리 학습을 통합하고 있음을 시사한다.