[논문 리뷰] Learning Structured Inference Neural Networks with Label Relations

Hexiang Hu, Guang-Tong Zhou외 3명|arXiv (Cornell University)|2015. 11. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 32인용 수 11

한 줄 요약

이 논문은 이미지 분류에서 계층적이고 상호 수준 간 레이블 관계를 활용하기 위해 레이블 그래프 위에서 스택형 양방향 전파 메커니즘을 통해 레이블 의존성을 모델링하는 구조적 추론 신경망(SINN)을 제안한다. 이 방법은 부분적으로 관측된 레이블을 포함할 경우에도 여러 벤치마크 데이터셋에서 성능을 크게 향상시키며, 특히 세분화된 경관 인식에서 최신 기준보다 mAP 기준 최대 6% 향상되고 MCAcc 기준 최대 4% 향상된다.

ABSTRACT

Images of scenes have various objects as well as abundant attributes, and diverse levels of visual categorization are possible. A natural image could be assigned with fine-grained labels that describe major components, coarse-grained labels that depict high level abstraction or a set of labels that reveal attributes. Such categorization at different concept layers can be modeled with label graphs encoding label information. In this paper, we exploit this rich information with a state-of-art deep learning framework, and propose a generic structured model that leverages diverse label relations to improve image classification performance. Our approach employs a novel stacked label prediction neural network, capturing both inter-level and intra-level label semantics. We evaluate our method on benchmark image datasets, and empirical results illustrate the efficacy of our model.

연구 동기 및 목표

• 계층, 포함, 배제와 같은 복잡한 다중 수준 레이블 관계를 모델링하여 이미지 분류 성능을 향상시키기 위해.
• 계층적 시각 레이블(粗 → 細)을 동시에 예측할 수 있는 구조적 추론을 이용한 딥 러닝 프레임워크를 개발하기 위해.
• 인간이 제공한 고수준 레이블을 추론 과정에 통합하여 부분적으로 관측된 레이블이 존재하는 상황에서 성능을 향상시키기 위해.
• WordNet이나 분류도 그래프와 같은 외부 지식에서 유도된 구조적 제약 조건을 표준 CNN 기반 분류에 확장하기 위해.

제안 방법

• 각 레이블이 레이블 관계 그래프의 노드로 표현되며, 개념 계층 간에 양방향으로 활성도가 전파되는 새로운 스택형 레이블 예측 신경망을 사용한다.
• CNN 특징에 기반해 레이블 노드가 활성화되며, 거친 레이블에서 세밀한 레이블로 연결되는 스택형 레이어를 통해 상하위 수준 간 의존성을 모델링한다.
• 레이블 그래프를 따라 비동기적으로 메시지 전파를 수행하는 RNN 유사 메커니즘을 사용하여 반복적 메시지 전달을 통해 예측를 정밀화한다.
• 외부 레이블 관계(예: WordNet에서 유래)를 그래프 구조로 통합하여 양의/음의 상관관계와 의미적 계층을 인코딩한다.
• 모든 레이블 점수를 동시에 정밀화하는 공동 추론 과정을 통해 개념 계층 간 일관성을 강제한다.
• 표준 크로스 엔트로피 손실을 사용해 엔드 투 엔드로 학습되며, 부분적으로 관측된 레이블을 입력 제약 조건으로 처리할 수 있도록 확장 가능하다.

실험 결과

연구 질문

• RQ1 계층적이고 상호 수준 간 레이블 관계를 모델링하면 다중 레이블 및 다중 분류 수준 설정에서 이미지 분류 성능이 향상되는가?
• RQ2 부분적으로만 관측된 레이블이 존재할 경우 레이블 그래프를 활용한 구조적 추론이 성능에 어떤 영향을 미치는가?
• RQ3 양방향 레이블 전파를 갖는 딥 뉴럴 네트워크가 표준 CNN 및 다중 레이블 기준 모델보다 얼마나 뛰어난 성능을 내는가?
• RQ4 WordNet 분류도와 같은 외부 지식을 통합할 경우 제로샷 또는 피카샷 이미지 분류에서 일관된 성능 향상이 이루어지는가?

주요 결과

• AWA 데이터셋에서 제안된 SINN 모델은 CNN + Logistics 기준으로 MCAcc에서 2.28% 향상되고, mAP_L에서 1.21% 향상되었다.
• NUS-WIDE 데이터셋에서 SINN은 기준 모델 대비 MCAcc에서 2.32% 향상되고, mAP_L에서 1.41% 향상되었으며, IoUAcc에서도 뚜렷한 향상이 있었다.
• SUN397 데이터셋에서 SINN은 57.60%의 MCAcc를 기록하여 CNN + Logistics 기준(57.86% MCAcc)과 CNN + BINN 기준(57.52% MCAcc)을 모두 초월했으며, mAP_L에서 2.69% 향상되었다.
• 실내/실외와 같은 부분적으로 관측된 레이블을 입력으로 사용했을 경우, SINN은 최고의 기준 모델 대비 MCAcc에서 4% 향상되고, mAP_L에서 6% 향상되어 각각 63.46% MCAcc와 64.63% mAP_L를 달성했다.
• 다양한 레이블 세분화 수준을 가진 데이터셋에서 뚜렷한 강건성과 일관성을 보였으며, 특히 세분화된 분류에서 가장 뚜렷한 성능 향상을 보였다.
• 시각화 결과는 SINN이 표준 모델이 잘못 예측한 경우를 보정하는 데 성공했으며, 특히 모호하거나 복잡한 장면에서 두드러진 성능 향상을 보였다.