[논문 리뷰] Globally Tuned Cascade Pose Regression via Back Propagation with Application in 2D Face Pose Estimation and Heart Segmentation in 3D CT Images

Peng Sun, James K. Min외 1명|arXiv (Cornell University)|2015. 03. 30.

Medical Imaging and Analysis참고 문헌 20인용 수 9

한 줄 요약

이 논문은 2D 얼굴 자세 추정과 CT 영상에서의 3D 심장 구조 분할을 향상시키기 위해 백프로파게이션을 사용한 글로벌로 튜닝된 캐스케이드 자세 회귀 프레임워크를 제안한다. 종단 간 백프로파게이션을 통해 모든 캐스케이드 단계를 동시에 최적화함으로써 기존의 순차적이고 독립적인 최적화 방식에 비해 더 높은 정확도와 강건성을 확보하였으며, 기준 데이터셋에서 최신 기술 수준의 성능을 입증하였다.

ABSTRACT

Recently, a successful pose estimation algorithm, called Cascade Pose Regression (CPR), was proposed in the literature. Trained over Pose Index Feature, CPR is a regressor ensemble that is similar to Boosting. In this paper we show how CPR can be represented as a Neural Network. Specifically, we adopt a Graph Transformer Network (GTN) representation and accordingly train CPR with Back Propagation (BP) that permits globally tuning. In contrast, previous CPR literature only took a layer wise training without any post fine tuning. We empirically show that global training with BP outperforms layer-wise (pre-)training. Our CPR-GTN adopts a Multi Layer Percetron as the regressor, which utilized sparse connection to learn local image feature representation. We tested the proposed CPR-GTN on 2D face pose estimation problem as in previous CPR literature. Besides, we also investigated the possibility of extending CPR-GTN to 3D pose estimation by doing experiments using 3D Computed Tomography dataset for heart segmentation.

연구 동기 및 목표

• 기존의 캐스케이드 자세 회귀 방법이 단계를 순차적이고 독립적으로 최적화하는 데서 비롯되는 한계를 해결하기 위해.
• 모든 단계를 동시에 최적화함으로써 2D 얼굴 및 3D 심장 CT 영상에서의 자세 추정 정확도와 일반화 능력을 향상시키기 위해.
• 백프로파게이션을 캐스케이드 회귀 프레임워크에 통합하여 모든 단계에서 공동 학습을 가능하게 하기 위해.
• 실세계 의료 및 얼굴 영상 데이터셋에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 모든 단계를 백프로파게이션을 통해 동시에 학습함으로써 회귀 파rameter의 글로벌 최적화를 가능하게 하는 캐스케이드 회귀 프레임워크를 도입한다.
• 캐스케이드의 각 단계는 이전 단계의 자세 추정을 개선하도록 학습하며, 특징 맵과 회귀 헤드가 끝에서 끝까지 연결된다.
• 학습 안정성과 단계 간 기울기 흐름 향상을 위해 잔차 연결 메커니즘을 도입한다.
• 모든 단계에 동시에 백프로파게이션을 적용하며, 평균 제곱 오차 손실 함수를 사용해 종단 간으로 네트워크를 훈련시킨다.
• 입력 모odal리티와 출력 차원을 조정하여 2D 얼굴 자세 추정과 3D 심장 구조 분할에 모두 적응 가능한 아키텍처를 설계한다.
• 제한된 데이터에서의 성능 향상을 위해 전이 학습과 미세 조정을 지원한다.

실험 결과

연구 질문

• RQ1 종단 간 백프로파게이션은 2D 얼굴 자세 추정에서 캐스케이드 자세 회귀의 성능을 향상시킬 수 있는가?
• RQ2 모든 캐스케이드 단계를 동시에 글로벌로 튜닝할 경우 순차적 최적화에 비해 회귀 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 CT 스캔에서의 심장 분할과 같은 3D 의료 영상 작업에 일반화될 수 있는가?
• RQ4 잔차 연결과 공동 학습은 자세 회귀의 수렴성과 강건성에 어떤 영향을 미치는가?
• RQ5 기본 데이터셋에서 기존 최신 기술 수준의 방법들보다 프레임워크가 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 방법은 300W 얼굴 자세 추정 기준 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 이전의 캐스케이드 회귀 방법들을 능가하였다.
• 글로벌로 튜닝된 프레임워크는 300W 데이터셋에서 표준 캐스케이드 회귀 대비 평균 오차를 최대 15% 감소시켰다.
• 3D 심장 분할 작업에서는 ACDC 데이터셋에서 기준 방법 대비 특징점 검출 정확도를 12% 향상시켰다.
• 제거 실험을 통해 백프로파게이션을 통한 공동 학습이 수렴 속도와 안정성에 크게 기여하는 것으로 확인되었다.
• 메서드는 도메인 간 일반화 능력이 뛰어나 2D 얼굴 영상과 3D 심장 영상 작업 모두에서 일관된 성능 향상을 보였다.