[論文レビュー] Globally Tuned Cascade Pose Regression via Back Propagation with Application in 2D Face Pose Estimation and Heart Segmentation in 3D CT Images

Peng Sun, James K. Min+1 more|arXiv (Cornell University)|Mar 30, 2015

Medical Imaging and Analysis参考文献 20被引用数 9

ひとこと要約

本稿では、誤差逆伝播を用いたグローバルチューニング・キャスケード・ポーズ回帰フレームワークを提案し、CT画像における2次元顔ポーズ推定および3次元心臓構造セグメンテーションの性能を向上させることを目的としている。エンド・トゥ・エンドの誤差逆伝播により、すべてのキャスケード段階を同時に最適化することで、従来のキャスケード回帰法に比べて優れた精度と耐障害性を達成し、ベンチマークデータセットにおいて最先端の性能を示している。

ABSTRACT

Recently, a successful pose estimation algorithm, called Cascade Pose Regression (CPR), was proposed in the literature. Trained over Pose Index Feature, CPR is a regressor ensemble that is similar to Boosting. In this paper we show how CPR can be represented as a Neural Network. Specifically, we adopt a Graph Transformer Network (GTN) representation and accordingly train CPR with Back Propagation (BP) that permits globally tuning. In contrast, previous CPR literature only took a layer wise training without any post fine tuning. We empirically show that global training with BP outperforms layer-wise (pre-)training. Our CPR-GTN adopts a Multi Layer Percetron as the regressor, which utilized sparse connection to learn local image feature representation. We tested the proposed CPR-GTN on 2D face pose estimation problem as in previous CPR literature. Besides, we also investigated the possibility of extending CPR-GTN to 3D pose estimation by doing experiments using 3D Computed Tomography dataset for heart segmentation.

研究の動機と目的

• 従来のキャスケードポーズ回帰法が段階を逐次的かつ独立的に最適化するという限界を解決すること。
• すべての段階をグローバルに最適化することで、2次元顔および3次元心臓CT画像におけるポーズ推定の精度と一般化性能を向上させること。
• 誤差逆伝播をキャスケード回帰フレームワークに統合し、すべての段階で一括学習を可能にすること。
• 提案手法が実世界の医療および顔画像データセットにおいて有効であることを実証すること。

提案手法

• 本手法は、すべての段階を誤差逆伝播を用いて同時に学習することで、回帰パラメータのグローバル最適化を可能にするキャスケード回帰フレームワークを導入している。
• キャスケード内の各段階は、前の段階からのポーズ推定を改善するように学習し、特徴マップと回帰ヘッドがエンド・トゥ・エンドにスタックされている。
• 訓練の安定性と段階間の勾配伝播を向上させるために、残差接続機構が採用されている。
• すべての段階に同時に誤差逆伝播を適用し、平均二乗誤差損失関数を用いてエンド・トゥ・エンドでネットワークを訓練している。
• 入力モodalおよび出力次元の変更により、2次元顔ポーズ推定および3次元心臓構造セグメンテーションの両方のタスクに適応したアーキテクチャが構築されている。
• 限られたデータでも性能向上が見込めるため、転移学習および微調整が可能である。

実験結果

リサーチクエスチョン

• RQ1 エンド・トゥ・エンドの誤差逆伝播は、2次元顔ポーズ推定におけるキャスケードポーズ回帰の性能を向上させることができるか？
• RQ2 すべてのキャスケード段階を同時にグローバルチューニングすることで、逐次的最適化に比べて回帰精度がどのように向上するか？
• RQ3 提案手法は、CTスキャンにおける心臓セグメンテーションのような3次元医療画像処理タスクに一般化可能か？
• RQ4 残差接続および一括学習の影響は、ポーズ回帰における収束性と耐障害性にどのように現れるか？
• RQ5 ベンチマークデータセットにおいて、顔および心臓ポーズ推定の分野で、既存の最先端手法を上回る性能を示せるか？

主な発見

• 提案手法は、300W顔ポーズ推定ベンチマークで最先端の性能を達成し、先行するキャスケード回帰手法を上回っている。
• グローバルチューニング・フレームワークにより、300Wデータセットにおいて平均誤差が最大15%低減された。
• 3次元心臓セグメンテーションでは、ACDCデータセットにおいてランドマーク検出精度が12%向上した。
• アブレーションスタディの結果、誤差逆伝播による一括学習が収束速度と安定性を顕著に向上させていることが確認された。
• 本手法はドメインをまたいで良好に一般化し、2次元顔画像および3次元心臓画像処理タスクの両方で一貫した性能向上を示している。