[논문 리뷰] MMF: Multi-Task Multi-Structure Fusion for Hierarchical Image Classification

Xiaoni Li, Yucan Zhou외 2명|arXiv (Cornell University)|2021. 07. 02.

Advanced Image and Video Retrieval Techniques참고 문헌 42인용 수 6

한 줄 요약

이 논문은 여러 계층적 레이블 구조—의미적, 시각적 유사성 및 기타 사전 지식 기반—을 하나의 딥러닝 프레임워크에 통합하는 다중 작업 다중 구조 융합 모델 MMF를 제안한다. 다양한 레이블 구조를 통해 하위 클래스 분류기와 다수의 슈퍼클래스 분류기를 동시에 학습시킴으로써, MMF는 CIFAR100과 Car196에서 기존의 평탄한 또는 단일 구조 방법에 비해 계층적 평가 지표에서 뚜렷한 성능 향상을 이룩한다.

ABSTRACT

Hierarchical classification is significant for complex tasks by providing multi-granular predictions and encouraging better mistakes. As the label structure decides its performance, many existing approaches attempt to construct an excellent label structure for promoting the classification results. In this paper, we consider that different label structures provide a variety of prior knowledge for category recognition, thus fusing them is helpful to achieve better hierarchical classification results. Furthermore, we propose a multi-task multi-structure fusion model to integrate different label structures. It contains two kinds of branches: one is the traditional classification branch to classify the common subclasses, the other is responsible for identifying the heterogeneous superclasses defined by different label structures. Besides the effect of multiple label structures, we also explore the architecture of the deep model for better hierachical classification and adjust the hierarchical evaluation metrics for multiple label structures. Experimental results on CIFAR100 and Car196 show that our method obtains significantly better results than using a flat classifier or a hierarchical classifier with any single label structure.

연구 동기 및 목표

• 다양한 레이블 구조에서 유도된 다수의 사전 지식 소스를 활용하여 계층적 이미지 분류 성능을 향상시키기 위해.
• 시각적 또는 의미적 관계와 일치하지 않을 수 있는 단일 구조 계층 모델의 한계를 해결하기 위해.
• 중복 계산 없이 효율적으로 다수의 계층적 구조를 융합할 수 있는 엔드 투 엔드 딥러닝 프레임워크를 설계하기 위해.
• 다양한 수준에서의 잘못된 예측의 심각도를 더 잘 반영할 수 있도록 계층적 평가 지표를 조정하기 위해.
• 다중 구조 융합이 단일 구조 또는 평탄한 분류 접근 방식보다 일관되게 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• MMF 모델은 하위 클래스 예측을 위한 기존 분류기 브랜치(CCB)와 다양한 레이블 구조에 의해 정의된 슈퍼클래스를 식별하기 위한 다수의 슈퍼클래스 분류기 브랜치(MSCBs)로 구성된 이중 브랜치 아키텍처를 사용한다.
• 각 MSCB는 특정 레이블 구조(예: 의미적, 유사성 기반, 또는 시각적 클러스터링)에서 유도된 유사성 제약 조건을 기반으로 학습되며, 이는 특징 표현이 클래스 간 관계를 존중하도록 강제한다.
• 모든 브랜치에서의 감독 신호를 통합하기 위해 가중치가 부여된 다중 작업 손실 함수를 사용하며, 각 레이블 구조의 제약 조건 영향력을 조절하는 하이퍼파ram터(λ)가 포함된다.
• 백본 네트워크(VGG16 또는 ResNet50)는 다중 유사성 제약 조건을 동시에 만족하는 계층적 특징을 학습하기 위해 엔드 투 엔드로 미세조정된다.
• 모든 레이블 구조를 동시에 학습시켜 공유된 특징 학습을 가능하게 하면서도, 각 구조에 특화된 인덕티브 바이어스를 유지함으로써 다수의 레이블 구조를 융합한다.
• 계층적 평가 지표(예: TIEa, LCAa)는 다중 수준 예측과 오류 심각도를 고려하여 수정되어, 다수의 레이블 구조를 사용할 경우의 예측 품질을 보다 정확히 반영한다.

실험 결과

연구 질문

• RQ1 의미적, 시각적 유사성 및 기타 사전 지식 기반의 다수의 계층적 레이블 구조를 융합하면 이미지 분류 성능이 향상되는가?
• RQ2 다양한 슈퍼클래스 분류기 간의 다중 작업 학습은 단일 구조 또는 평탄한 분류와 비교해 하위 클래스 인식 성능을 어떻게 향상시키는가?
• RQ3 딥러닝 프레임워크 내에서 다수의 레이블 구조를 융합하기 위한 최적의 아키텍처와 손실 가중 전략은 무엇인가?
• RQ4 다수의 레이블 구조를 사용할 경우 계층적 평가 지표는 예측의 품질을 어떻게 반영하는가?
• RQ5 다양한 레이블 구조의 통합은 더 의미적으로 유의미한 잘못된 분류(즉, 덜 심각한 오류)를 초래하는가?

주요 결과

• CIFAR100에서 구조를 융합한 MMF(H_A&H_S)는 상위 1위 정확도 79.52%를 기록하여, 최고의 단일 구조 방법(79.51%)과 평탄한 기준선(78.50%)을 모두 초월했다.
• Car196에서 세 구조를 모두 융합한 MMF(H_A&H_T&H_M)는 90.29%의 정확도를 달성하여, 최고의 단일 구조 결과(90.19%)와 평탄한 기준선(88.66%)을 모두 뛰어넘었다.
• TIEa 및 LCAa와 같은 계층적 지표는 상위 1위 정확도보다 더 뚜렷한 향상을 보였으며, 이는 예측 결과가 오류 심각도 측면에서 진정된 레이블에 더 가까이 있는 것을 시사한다.
• 다중 구조 모델(H_A&H_T&H_M)은 Car196에서 TIEa 0.2468을 기록하여 평탄한 기준선(0.3097)보다 유의미하게 낮아, 잘못된 분류의 심각도가 낮다는 것을 확인했다.
• 최적의 λ 값은 각 구조에 따라 달라졌지만, 일반적으로 모든 구조에 동일한 가중치를 부여하는 것이 가장 우수한 성능을 냈으며, H_T&H_M와 같은 복잡한 다중 구조 케이스를 제외하고는 그러한 경향이 지속되었다.
• 제거 실험을 통해 평탄한 기준선 대비 어떤 단일 구조도 성능 향상을 이룬 것으로 확인되었으며, 구조를 융합할 경우 가장 우수한 성능을 기록했다.