[논문 리뷰] Multi-Label Classification with Label Graph Superimposing

Ya Wang, Dongliang He외 5명|arXiv (Cornell University)|2019. 11. 21.

Text and Document Classification Technologies참고 문헌 32인용 수 14

한 줄 요약

이 논문은 다중 레이블 분류 프레임워크인 KSSNet을 제안한다. 이는 통계적 공존 그래프 위에 지식 그래프를 초월하여 레이블 상관관계를 보다 효과적으로 모델링한다. GCN과 CNN 간의 다중 깊이에서의 횡방향 연결을 도입함으로써, 레이블 시스템 인식 기반의 특징 학습을 향상시켜, MS-COCO와 Charades에서 각각 6.4% 및 12.0%의 mAP 향상을 달성하며 최신 기술 수준을 확립한다.

ABSTRACT

Images or videos always contain multiple objects or actions. Multi-label recognition has been witnessed to achieve pretty performance attribute to the rapid development of deep learning technologies. Recently, graph convolution network (GCN) is leveraged to boost the performance of multi-label recognition. However, what is the best way for label correlation modeling and how feature learning can be improved with label system awareness are still unclear. In this paper, we propose a label graph superimposing framework to improve the conventional GCN+CNN framework developed for multi-label recognition in the following two aspects. Firstly, we model the label correlations by superimposing label graph built from statistical co-occurrence information into the graph constructed from knowledge priors of labels, and then multi-layer graph convolutions are applied on the final superimposed graph for label embedding abstraction. Secondly, we propose to leverage embedding of the whole label system for better representation learning. In detail, lateral connections between GCN and CNN are added at shallow, middle and deep layers to inject information of label system into backbone CNN for label-awareness in the feature learning process. Extensive experiments are carried out on MS-COCO and Charades datasets, showing that our proposed solution can greatly improve the recognition performance and achieves new state-of-the-art recognition performance.

연구 동기 및 목표

• 통계적 공존 패tern과 외부 지식 그래프를 융합하여 다중 레이블 인식에서 레이블 상관관계를 모델링하는 과제를 해결하기 위해.
• 레이블 시스템의 구조를 CNN 특징 추출 과정에 통합하여 특징 표현 학습을 향상시키며, 레이블을 추론 단계에서만 고려하는 것과는 다릅니다.
• 깊은 GCN에서의 과도한 스무딩을 완화하기 위해 횡방향 연결과 부가적 제어 메커니즘을 도입하기 위해.
• 최소한의 계산 오버헤드로 이미지 및 비디오 다중 레이블 인식 작업에서 성능을 향상시키는 통합 프레임워크를 개발하기 위해.

제안 방법

• 레이블 공존 통계에서 유도된 인접 행렬(A_S)과 지식 그래프(ConceptNet)에서 유도된 인접 행렬(A_K)을 각각 구성하여 통계적 및 사전 기반 레이블 관계를 표현합니다.
• 두 그래프를 A = λA_S + (1−λ)A_K로 초월하여 최종 인접 행렬을 구성하며, 여기서 λ는 학습 가능한 초월 가중치입니다.
• ConceptNet의 사전 훈련된 노드 표현을 사용하여 레이블 임베딩을 초기화하여 레이블 그래프 내의 의미적 사전 지식을 풍부하게 합니다.
• 초월된 그래프에 다층 그래프 컬러션 네트워크(GCNs)를 적용하여 통계적 및 사전 기반 상관관계를 모두 반영하는 맥락 기반 레이블 임베딩을 학습합니다.
• 얕은, 중간, 깊은 레이어에서 CNN과 GCN 간에 횡방향 연결(LC)을 도입하여 레이블 임베딩을 CNN 특징 맵에 통합함으로써 레이블 인식 기반의 특징 학습을 유도합니다.
• LC 연산의 기울기 신호를 사용하여 GCN 훈련을 정규화하고, 중복된 간선 제거를 적용하여 깊은 GCN에서의 과도한 스무딩을 완화합니다.

실험 결과

연구 질문

• RQ1 통계적 공존 패턴과 외부 지식 그래프를 융합함으로써 레이블 상관관계 모델링을 어떻게 향상시킬 수 있는가?
• RQ2 레이블 시스템 정보를 CNN의 여러 레이어에 통합함으로써 다중 레이블 인식을 위한 특징 표현 학습을 향상시킬 수 있는가?
• RQ3 제안된 초월 그래프 구성 방식이 통계 기반 또는 지식 기반 그래프만 사용하는 것보다 우월한가?
• RQ4 GCN의 깊이가 성능에 미치는 영향은 무엇이며, 특히 과도한 스무딩 상황에서 어떻게 영향을 미치는가?
• RQ5 횡방향 연결 메커니즘이 다중 레이블 설정에서 특징 학습을 효과적으로 정규화하고 일반화 성능을 향상시킬 수 있는가?

주요 결과

• 통계적 및 지식 기반 그래프를 초월하여 형성된 제안된 KS 그래프가 MS-COCO 및 Charades 데이터셋 모두에서 최고의 성능을 달성한다.
• MS-COCO에서 KSSNet은 순수한 CNN 베이스라인 대비 6.4%의 절대 mAP 향상을 기록하며 새로운 최신 기술 수준을 수립한다.
• Charades 데이터셋에서 KSSNet은 베이스라인 대비 12.0%의 mAP 향상을 기록하여 비디오 인식 작업으로의 강력한 일반화 능력을 입증한다.
• GCN의 깊이를 2에서 4 레이어로 늘임으로써 MS-COCO에서 mAP가 0.6% 향상되고 Charades에서 1.9% 향상되어, 횡방향 연결의 정규화 효과로 인해 더 깊은 GCN이 KSSNet에서 유익함을 시사한다.
• 제거 분석 결과, 데이터 희소성로 인해 Charades에서 지식 그래프가 통계 그래프보다 더 효과적임을 확인하였으며, KS 그래프가 두 데이터셋 모두에서 양자 모두를 능가하는 성능을 보였다.
• 하이퍼파rameter 분석 결과, 최적의 성능는 λ=0.6 및 τ=0.03에서 달성되었으며, Charades에서 mAP가 44.93로 최고에 도달하여 초월 전략의 강건성을 입증한다.