[논문 리뷰] Attention-Driven Dynamic Graph Convolutional Network for Multi-Label Image Recognition

Jin Ye, Junjun He외 3명|arXiv (Cornell University)|2020. 12. 05.

Text and Document Classification Technologies참고 문헌 35인용 수 4

한 줄 요약

이 논문은 빈도 편향 문제를 해결하기 위해 콘텐츠 인식 카테고리 표현을 사용하여 이미지별로 동적으로 그래프를 구성하는 Attention-Driven Dynamic Graph Convolutional Network (ADD-GCN)을 제안한다. 정적 레이블 종속성 그래프에서 발생하는 빈도 편향 문제를 해결하기 위해, 의미주의 모듈(SAM)과 정적 및 동적 그래프를 함께 사용하는 동적 GCN(D-GCN)을 결합함으로써, MS-COCO에서 85.2%, VOC2007에서 96.0%, VOC2012에서 95.5%의 최신 기준 mAP 성능을 달성한다.

ABSTRACT

Recent studies often exploit Graph Convolutional Network (GCN) to model label dependencies to improve recognition accuracy for multi-label image recognition. However, constructing a graph by counting the label co-occurrence possibilities of the training data may degrade model generalizability, especially when there exist occasional co-occurrence objects in test images. Our goal is to eliminate such bias and enhance the robustness of the learnt features. To this end, we propose an Attention-Driven Dynamic Graph Convolutional Network (ADD-GCN) to dynamically generate a specific graph for each image. ADD-GCN adopts a Dynamic Graph Convolutional Network (D-GCN) to model the relation of content-aware category representations that are generated by a Semantic Attention Module (SAM). Extensive experiments on public multi-label benchmarks demonstrate the effectiveness of our method, which achieves mAPs of 85.2%, 96.0%, and 95.5% on MS-COCO, VOC2007, and VOC2012, respectively, and outperforms current state-of-the-art methods with a clear margin. All codes can be found at https://github.com/Yejin0111/ADD-GCN.

연구 동기 및 목표

• 훈련 데이터에서의 공존 빈도가 모델 예측에 부당하게 영향을 미치는 정적 레이블 종속성 그래프에서의 빈도 편향 문제를 해결한다.
• 전역적이고 고정된 그래프에 의존하는 대신, 이미지별로 특화된 레이블 관계를 학습하여 다중 레이블 인식의 강건성을 향상시킨다.
• 각 입력 이미지 내 레이블 간의 세밀한 콘텐츠 인식 의미 관계를 모델링하여 특징의 구분 능력을 향상시킨다.
• 의미주의 및 동적 그래프 학습을 통합한 엔드 투 엔드 프레임워크를 개발하여 다중 레이블 분류 성능을 향상시킨다.

제안 방법

• 의미주의 모듈(SAM)을 사용하여 컨볼루션 특징 맵을 의미 영역에 집중함으로써 콘텐츠 인식 카테고리 특화 표현으로 분해한다.
• 경량 네트워크를 카테고리 특화 표현에 적용하여 동적 상관관계 행렬을 구성함으로써 이미지별 레이블 관계 모델링을 가능하게 한다.
• 전역 공존 빈도에서 학습된 정적 그래프와 이미지별로 학습되는 동적 그래프를 함께 사용하는 동적 GCN(D-GCN)에 통합하여 특징 전파를 공동으로 수행한다.
• 두 그래프 모두에 대해 그래프 컨볼루션 연산을 적용하여 카테고리 표현을 정밀화하고, 이후 글로벌 평균 풀링과 각 레이블의 분류를 수행한다.
• 분류기 이후에 수정된 CAM 방식의 GMP(Global Max Pooling)를 적용하여 분류 가능한 부분을 더 잘 유지하고 특징 표현을 향상시킨다.
• 합성, 평균, 최대 풀링을 사용하여 카테고리 특화 특징을 융합하며, 추론 실험에서 합성 풀링이 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 정적 빈도 기반 그래프에 비해 동적이고 이미지별 레이블 종속성 그래프가 다중 레이블 인식 성능을 향상시키는가?
• RQ2 의미주의 기반의 콘텐츠 인식 카테고리 표현이 관련 의미 영역을 정확히 국소화하고 구분하는 데 모델의 능력을 향상시키는가?
• RQ3 정적 및 동적 그래프의 공동 학습 프레임워크가 거시적 및 미세한 레이블 종속성을 더 잘 포착할 수 있는가?
• RQ4 기존 최신 기준 접근 방식과 비교했을 때, 제안된 방법은 표준 벤치마크에서 어떤 성능을 보이는가?
• RQ5 수정된 CAM 메커니즘(cls → GMP)이 특징 표현 향상과 분류 정확도 향상에 기여하는 정도는 어떠한가?

주요 결과

• ADD-GCN은 MS-COCO 벤치마크에서 85.2%의 새로운 최신 기준 mAP를 달성하여 이전 방법들을 크게 앞서간다.
• VOC2007 데이터셋에서 ADD-GCN은 96.0%의 mAP를 기록하여 다중 레이블 인식 분야에서 새로운 기록을 수립한다.
• VOC2012 벤치마크에서 모델는 95.5%의 mAP를 달성하여 강력한 일반화 능력과 강건성을 보여준다.
• 추론 실험 결과, 카테고리 특화 특징 표현(합성 풀링을 통한)이 평균 또는 최대 풀링과 같은 집계 표현보다 뛰어난 성능을 보였다.
• 시각화 결과, SAM이 관련 카테고리의 의미 영역을 정확히 국소화하고, 동적 그래프가 의미 있는 이미지별 레이블 상관관계를 학습하는 것으로 나타났다.
• 수정된 CAM 메커니즘(cls → GMP)은 표준 GAP 및 GMP 기반 모델보다 뛰어난 성능을 보였으며, 특징의 구분 능력 향상과 강건성 향상에 기여하는 것으로 나타났다.