[논문 리뷰] Hierarchical Human Parsing with Typed Part-Relation Reasoning

Wenguan Wang, Hailong Zhu외 4명|arXiv (Cornell University)|2020. 03. 10.

Multimodal Machine Learning Applications참고 문헌 71인용 수 9

한 줄 요약

이 논문은 고리 모양의 인간 구조에서 개선된 추론을 위해 관계 유형이 지정된 반복 메시지 전달 메커니즘을 사용하면서, 전용 관계 네트워크를 통해 분해, 조합, 의존성이라는 세 가지 구분된 부분 관계를 명시적으로 모델링하는 계층적 인간 파싱 프레임워크를 제안한다. 유형화된 관계 추론과 공간 인지 가능한, 미분 가능한 메시지 전달을 활용하여 다섯 개의 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Human parsing is for pixel-wise human semantic understanding. As human bodies are underlying hierarchically structured, how to model human structures is the central theme in this task. Focusing on this, we seek to simultaneously exploit the representational capacity of deep graph networks and the hierarchical human structures. In particular, we provide following two contributions. First, three kinds of part relations, i.e., decomposition, composition, and dependency, are, for the first time, completely and precisely described by three distinct relation networks. This is in stark contrast to previous parsers, which only focus on a portion of the relations and adopt a type-agnostic relation modeling strategy. More expressive relation information can be captured by explicitly imposing the parameters in the relation networks to satisfy the specific characteristics of different relations. Second, previous parsers largely ignore the need for an approximation algorithm over the loopy human hierarchy, while we instead address an iterative reasoning process, by assimilating generic message-passing networks with their edge-typed, convolutional counterparts. With these efforts, our parser lays the foundation for more sophisticated and flexible human relation patterns of reasoning. Comprehensive experiments on five datasets demonstrate that our parser sets a new state-of-the-art on each.

연구 동기 및 목표

• 기존의 인간 파싱 방법에서 관계 모델링이 불완전하거나 유형에 관계없이 동일하게 적용되는 한계를 해결하기 위해.
• 분해, 조합, 의존성이라는 세 가지 명시적인 부분 관계를 모델링하여 인간 파싱의 구조적 추론을 향상시키기 위해.
• 고리 모양의 인간 계층에서 반복적 메시지 전달 추론을 통해 더 정확하고 강력한 인간 파싱을 가능하게 하기 위해.
• 표준 MLP를 컨볼루션형 메시지 전달 모듈로 교체하여 추론 과정에서 공간 정보를 유지하기 위해.
• 부분 특징, 관계, 추론 동역학을 동시에 학습하는 엔드 투 엔드로 미분 가능한 그래프 네트워크를 개발하기 위해.

제안 방법

• 각각의 기하학적 및 구조적 제약 조건에 맞게 설계된 분해형, 조합형, 의존성 관계 네트워크를 도입한다.
• 각 관계 네트워크 내에서 작업에 특화된 제약 조건을 강제하기 위해 관계 적응 연산 $ F^r $ 을 사용하여 표현력을 향상시킨다.
• 노드가 인간의 부분을 나타내고 간선이 유형화된 관계 네트워크에 의해 정의되는 트리 구조의 엔드 투 엔드 학습 가능한 그래프 모델을 구성한다.
• 반복적이고 글로벌한 추론을 가능하게 하기 위해 인간 계층에 대해 수정된 간선 유형 기반의 컨볼루션형 메시지 전달 메커니즘을 적용한다.
• 다중 메시지 전달 단계를 통해 노드 특징을 개선하는, 미분 가능한 반복적 추론 프로세스 (식 13–14) 를 사용한다.
• 표준 MPNN 유닛을 공간적 구조를 유지하고 픽셀 수준의 예측 정밀도를 향상시키기 위해 컨볼루션형 대체품으로 교체한다.

실험 결과

연구 질문

• RQ1 분해, 조합, 의존성과 같은 다수의 구분된 부분 관계를 명시적으로 모델링하는 것이, 관계 유형에 관계없이 동일하게 적용하는 방식이나 부분적인 관계 모델링보다 인간 파싱 성능을 향상시키는가?
• RQ2 관계 유형 기반의 컨볼루션을 사용한 반복적 메시지 전달이 고리 모양의 계층적 인간 구조에서 추론 정확도에 어떤 영향을 미치는가?
• RQ3 관계 적응 ($ F^r $) 을 통해 구조적 제약 조건을 통합함으로써 관계 학습과 특징 표현이 얼마나 향상되는가?
• RQ4 메시지 전달 반복 수를 변화시킬 때 추론 정확도와 계산 비용 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 다양한 수준의 가림, 자세 변화, 배경 혼잡도를 가진 다양한 인간 파싱 벤치마크에 대해 제안된 프레임워크가 일반화되는가?

주요 결과

• 모든 세 가지 유형의 관계 네트워크와 반복적 추론을 포함한 전체 모델은 PASCAL-Person-Part 테스트 세트에서 73.12 mIoU 를 달성하여 베이스라인보다 4.28% 포인트 높은 성능을 보였다.
• 유형별 관계 모델링은 유형에 관계없이 동일하게 적용하는 방식보다 1.28% 높은 성능을 기록하여 관계 유형을 구분하는 가치를 입증했다.
• 제거 실험 결과, 개별 관계 유형(예: 분해 또는 의존성)만 모델링하는 것도 베이스라인보다 더 좋은 결과를 내지만, 세 가지 유형을 모두 포함한 전체 모델이 최적임을 확인했다.
• 반복적 추론은 정확도를 크게 향상시킨다: 2회 반복 시 단일 스텝 추론 대비 4–5% 향상되며, 3회 이상부터는 수익 감소 현상이 나타난다.
• 이 모델은 오염, 희귀 자세, 복잡한 배경을 포함한 도전적인 경우도 포함한 다섯 개의 표준 데이터셋에서 최신 기준 성능을 달성했다.
• 5회 반복 시 73.23 mIoU 를 기록하여 3회 이상부터는 개선 폭이 미미하여 효율성-정확도 균형을 고려할 때 $ T=2 $ 를 사용하는 것이 타당하다.