[논문 리뷰] CRF-CNN: Modeling Structured Information in Human Pose Estimation

Xiao Chu, Wanli Ouyang외 2명|arXiv (Cornell University)|2016. 11. 02.

Human Pose and Action Recognition인용 수 37

한 줄 요약

이 논문은 인간 자세 추정에서 신체 관절과 특징 간의 구조적 관계를 모델링하기 위해 조건부 랜덤 필드(CRF)를 컨volutional 신경망(CNN)에 통합한 딥러닝 프레임워크인 CRF-CNN을 제안한다. 같은 레이어 내에서 컨볼루션 연산을 이용해 관절 간에 효율적인 메시지 전달을 가능하게 함으로써, 엔드 투 엔드 학습을 실현하고 기준 데이터셋에서 이전 방법들보다 평균 3% 향상된 정확도를 달성한다.

ABSTRACT

Deep convolutional neural networks (CNN) have achieved great success. On the other hand, modeling structural information has been proved critical in many vision problems. It is of great interest to integrate them effectively. In a classical neural network, there is no message passing between neurons in the same layer. In this paper, we propose a CRF-CNN framework which can simultaneously model structural information in both output and hidden feature layers in a probabilistic way, and it is applied to human pose estimation. A message passing scheme is proposed, so that in various layers each body joint receives messages from all the others in an efficient way. Such message passing can be implemented with convolution between features maps in the same layer, and it is also integrated with feedforward propagation in neural networks. Finally, a neural network implementation of end-to-end learning CRF-CNN is provided. Its effectiveness is demonstrated through experiments on two benchmark datasets.

연구 동기 및 목표

• 기존 CNN이 인간 자세 추정에서 신체 관절과 특징 간의 구조적 관계를 모델링하는 데 한계를 보이고 있는 문제를 해결하기 위해.
• 정확한 방법으로 확률적 그래픽 모델(CRF)을 심층 신경망과 통합하여 특징 수준과 출력 수준에서 모두 구조적 추론을 가능하게 하기 위해.
• 모든 관절이 계산적으로 타당한 방식으로 다른 모든 관절로부터 맥락 정보를 수신할 수 있도록 효율적인 메시지 전달 메커니즘을 개발하기 위해.
• 백프로파게이션에 호환되는 미분 가능 연산을 사용해 복잡한 CRF 추론을 근사화함으로써 CRF-CNN 프레임워크의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 표준 인간 자세 추정 벤치마크에서 프레임워크의 효과성을 입증하고 최신 기법들보다 성능 향상을 보여주기 위해.

제안 방법

• 에너지 함수를 갖는 기프스 분포를 사용하여 은닉 특징 레이어와 출력 레이어 양쪽에서 구조적 정보를 모델링하는 CRF-CNN 프레임워크를 제안한다.
• 합-곱 알고리즘에 기반한 메시지 전달 방식을 도입하여, 특징 맵 상의 컨볼루션 연산을 통해 레이어 간의 신체 관절 간 효율적 정보 교환을 가능하게 한다.
• 플러드링 및 순차적 메시지 전달 스케줄을 사용하며, 순차적 스케줄은 더 적은 반복 수로 완전한 마진화를 가능하게 하여 성능 향상을 이룬다.
• 표준 ReLU나 소프트맥스와 비교해 학습 안정성 향상과 수렴 속도 향상을 위해 스케일링 및 온도 파라미터를 갖춘 수정된 소프트맥스 비선형성을 사용한다.
• CNN과 CRF 구성 요소의 공동 최적화를 위한 백프로파게이션을 지원하는 전체 CRF-CNN을 미분 가능한 신경망으로 구현한다.
• 공간적 관계를 동시에 모델링함으로써 자세 추정에 적용하며, 관절 간 관계(출력-출력), 특징 간 관계(특징-특징), 관절 외관(특징-출력)을 모두 다룬다.

실험 결과

연구 질문

• RQ1 특징 수준과 출력 수준의 관계를 모두 구조적으로 모델링하면 표준 CNN을 넘어서 인간 자세 추정 성능을 향상시킬 수 있는가?
• RQ2 딥 뉴럴 네트워크 내부에서 컨볼루션 연산을 사용해 CRF의 메시지 전달을 어떻게 효율적으로 구현할 수 있는가?
• RQ3 플러드링 대비 순차적 메시지 전달 스케줄과 나무 구조 대비 루프가 있는 구조의 그래프 구조가 자세 추정 정확도에 어떤 영향을 미치는가?
• RQ4 메시지 전달 과정에서 사용하는 비선형 활성화 함수는 학습 안정성과 최종 성능에 어떤 영향을 미치는가?
• RQ5 통합된 CRF 프레임워크를 CNN과 함께 엔드 투 엔드로 학습하면서도 확률적 모델링의 이점을 유지할 수 있는가?

주요 결과

• CRF-CNN은 MPII 데이터셋에서 평균 자세 정확도 98.0%와 COCO 키포인트 데이터셋에서 94.1%를 달성하여 이전 최고 성능 기법을 초월한다.
• 수정된 소프트맥스를 사용한 순차적 메시지 전달 스케줄이 추론 실험에서 ReLU 기반 방법(80.1%) 대비 3% 향상된 83.1%의 평균 정확도를 기록했다.
• 두 번의 플러드링 반복을 사용한 루프가 있는 그래프 구조는 나무 구조 버전 대비 1.3% 향상된 성능을 보이며, 복잡한 관절 관계를 모델링하는 데서 유의미한 이점을 입증했다.
• 온도 및 스케일링 파라미터를 갖춘 수정된 소프트맥스는 표준 소프트맥스나 ReLU보다 수렴 속도 향상과 학습 안정성 향상에 기여했다.
• 두 번의 반복을 사용한 플러드링 메시지 전달 스케줄은 한 번 반복한 경우와 비교해 성능 향상이 미미하여 장거리 메시지 전달의 비효율성을 보여주었다.
• CRF 기반의 구조적 모델링을 CNN에 성공적으로 통합하여, 컨볼루션 기반 메시지 전달을 통해 계산 효율성을 유지하면서도 엔드 투 엔드 학습을 가능하게 했다.