[논문 리뷰] Learning Compositional Neural Information Fusion for Human Parsing

Wenguan Wang, Zhijie Zhang외 4명|arXiv (Cornell University)|2020. 01. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 7

한 줄 요약

이 논문은 직접, 상향식, 하향식 추론 과정을 통합함으로써 계층적 인간 신체 구조를 활용하는 구성적 신경 정보 융합 프레임워크를 제안한다. 가용성에 따라 가중치를 조정하는 학습 가능한 게이트 메커니즘을 통해 융합을 조건화함으로써, 네 가지 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 추론 속도는 23fps이다.

ABSTRACT

This work proposes to combine neural networks with the compositional hierarchy of human bodies for efficient and complete human parsing. We formulate the approach as a neural information fusion framework. Our model assembles the information from three inference processes over the hierarchy: direct inference (directly predicting each part of a human body using image information), bottom-up inference (assembling knowledge from constituent parts), and top-down inference (leveraging context from parent nodes). The bottom-up and top-down inferences explicitly model the compositional and decompositional relations in human bodies, respectively. In addition, the fusion of multi-source information is conditioned on the inputs, i.e., by estimating and considering the confidence of the sources. The whole model is end-to-end differentiable, explicitly modeling information flows and structures. Our approach is extensively evaluated on four popular datasets, outperforming the state-of-the-arts in all cases, with a fast processing speed of 23fps. Our code and results have been released to help ease future research in this direction.

연구 동기 및 목표

• 기존의 인간 파싱 방법이 인간 신체 내 풍부한 구성적 구조를 활용하지 못하는 한계를 해결한다.
• 원자적 부분 외에도 다수의 의미적 부분(예: 머리, 사지, 전신)을 모델링하여 파싱 정확도를 향상시킨다.
• 직접, 상향식, 하향식 추론의 세 가지 소스에서 온 정보를 융합하는 엔드 투 엔드 미분 가능한 프레임워크를 개발한다.
• 신뢰도 인식 융합을 통합하여 신뢰할 수 없는 정보 소스를 억제함으로써 정확도와 내성 강도를 향상시킨다.
• 신경망 내 계층적 구조 모델링을 통해 인간 의미의 종합적 이해를 가능하게 한다.

제안 방법

• 인간 파싱을 신체 부분의 구성적 계층에 걸쳐 다중 소스 신경 정보 융합 문제로 재정의한다.
• 직접(이미지 기반), 상향식(전체 신체에서 부분으로의 맥락), 하향식(부분에서 전체로의) 추론 과정을 통합한다.
• 소스의 신뢰도에 따라 동적으로 가중치를 조정하는 학습 가능한 게이트를 사용한 조건부 융합 메커니즘을 구현한다.
• 계층의 각 수준 간의 정보 흐름과 구조적 제약 조건을 명시적으로 모델링하는 엔드 투 엔드 미분 가능한 아키텍처를 설계한다.
• 1차, 2차, 3차 수준 노드에서 의미적 부분 레이블에 대해 다중 수준 감독을 적용한 교차 엔트로피 손실을 사용해 모델을 훈련한다.
• 스킵 연결과 계층적 스킵 연결을 갖춘 완전 컨volution 네트워크를 백본으로 사용하여 공간적 및 구조적 세부 정보를 유지한다.

실험 결과

연구 질문

• RQ1 기존의 의미적 세그멘테이션 접근 방식과 비교해 인간 신체의 구성적 계층을 모델링하면 파싱 정확도가 향상되는가?
• RQ2 직접, 상향식, 하향식 추론 과정에서 온 정보를 융합하면 파싱 성능에 어떤 영향을 미치는가?
• RQ3 고정 가중치 융합과 비교해 신뢰도 조건부 융합이 정확도와 내성 강도에 얼마나 기여하는가?
• RQ4 1차, 2차, 3차 수준의 부분에 걸쳐 다중 수준 감독을 통합하면 특징 학습과 일반화 능력이 향상되는가?
• RQ5 제안된 프레임워크는 다양한 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 고속 추론(예: 23fps)을 유지할 수 있는가?

주요 결과

• 제안된 모델은 LIP, PASCAL-Person-Part, ATR, Fashion Clothing의 네 가지 공개 데이터셋에서 최신 기술 수준 성능을 달성한다.
• PASCAL-Person-Part 테스트 세트에서 전체 모델은 1차 수준에서 70.76 mIoU, 2차 수준에서 81.62, 3차 수준에서 91.31를 기록하며, 모든 추출 변형보다 뛰어난 성능을 보였다.
• 추출 분석 결과, 하향식 및 상향식 추론을 추가함으로써 성능 향상이 뚜렷하게 나타났다: 직접 추론 전용 기준은 64.14 mIoU였지만, 전체 모델은 1차 수준에서 70.76 mIoU를 달성했다.
• 조건부 융합은 저신뢰도 소스를 억제함으로써 성능 향상을 크게 이끌어냈다. 1차 수준에서 직접 + 하향식 + 상향식 조합(69.43)에서 전체 모델(70.76)로의 0.59 mIoU 향상이 관찰되었다.
• 정성적 결과는 세밀한 부분과 가림된 부분(예: 허벅지, 작은 팔)의 분할이 기존 최신 기술 수준 방법(SO-NAN, DeepLabV2)보다 훨씬 우수하며, 더 명확한 경계와 더 적은 오류를 보였다.
• 모델는 23fps로 이미지를 처리하여 실시간 응용에 적합한 높은 효율성을 입증했다.