[論文レビュー] Mirror, mirror on the wall, tell me, is the error small?

Heng Yang, Ioannis Patras|arXiv (Cornell University)|Jan 21, 2015

Face recognition and analysis参考文献 24被引用数 17

ひとこと要約

本稿では、鏡像画像に対して対称的な結果を生成できる能力である「ミラー可能性（mirrorability）」を導入し、アノテーションが不要なオブジェクト部局所化手法の評価に定量的指標である「ミラーエラー（mirror error）」を提案する。顔関節や人体ポーズ推定の最先端モデルで、鏡像データを用いて学習しているにもかかわらず顕著なミラーエラーを示しており、これはアノテーション済みの局所化誤差と強く相関しており、キャスケード回帰におけるハードサンプル選別やフィードバック機構への応用が可能である。

ABSTRACT

Do object part localization methods produce bilaterally symmetric results on mirror images? Surprisingly not, even though state of the art methods augment the training set with mirrored images. In this paper we take a closer look into this issue. We first introduce the concept of mirrorability as the ability of a model to produce symmetric results in mirrored images and introduce a corresponding measure, namely the extit{mirror error} that is defined as the difference between the detection result on an image and the mirror of the detection result on its mirror image. We evaluate the mirrorability of several state of the art algorithms in two of the most intensively studied problems, namely human pose estimation and face alignment. Our experiments lead to several interesting findings: 1) Surprisingly, most of state of the art methods struggle to preserve the mirror symmetry, despite the fact that they do have very similar overall performance on the original and mirror images; 2) the low mirrorability is not caused by training or testing sample bias - all algorithms are trained on both the original images and their mirrored versions; 3) the mirror error is strongly correlated to the localization/alignment error (with correlation coefficients around 0.7). Since the mirror error is calculated without knowledge of the ground truth, we show two interesting applications - in the first it is used to guide the selection of difficult samples and in the second to give feedback in a popular Cascaded Pose Regression method for face alignment.

研究の動機と目的

• 最先端のオブジェクト部局所化モデルが、鏡像データを用いて学習しているにもかかわらず、鏡像画像に対して対称的な結果を出力するかどうかを調査すること。
• アノテーションが不要な状況でもモデルのミラー可能性を定量的に評価できる新しい評価指標「ミラーエラー」を提案すること。
• ミラーエラーと標準的な局所化誤差の相関関係を調査し、ミラーエラーが性能の代理指標として有効であるかを評価すること。
• 顔関節のキャスケード回帰における困難なサンプル選別およびフィードバック機構へのミラーエラーの実用的応用を示すこと。
• 生物学的・データオーグメンテーションの両方の要因にもかかわらず、現代の局所化モデルにおけるミラー対称性の欠如についての認識を高めること。

提案手法

• モデルが元の画像とその鏡像画像に対して対称的な検出結果を出力できる能力を、ミラー可能性として定義する。
• 元の画像の検出結果と、鏡像画像の検出結果とのL2距離をミラーエラーとして提案する。
• 複数のデータセットを対象に、人体ポーズ推定および顔関節分野における最先端モデルに対してミラーエラー指標を適用して評価する。
• アノテーションが存在しないデータにおいて、ミラーエラーが高いサンプルをハードサンプルとして選別し、アクティブラーニングに応用する。
• ミラーエラーをキャスケードポーズ回帰フレームワーク（RCPR）に統合し、複数の初期化からのフィードバックによって再初期化とフェイルーチェックを支援する。
• 300Wおよびその他のベンチマークで、アブレーションと最先端手法との比較を通じて、ミラーエラーに基づくフィードバックの有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 最先端のオブジェクト部局所化モデルは、鏡像データを用いて学習しているにもかかわらず、鏡像画像に対して対称的な結果を出力するのか？
• RQ2 異なるモデルやデータセットにおいて、ミラーエラーと標準的な局所化誤差（例：平均アライメント誤差）の相関関係はどのようになるか？
• RQ3 アノテーションが存在しない状況で、ミラーエラーを真の誤差の代理指標として効果的に用いることができるか？
• RQ4 アノテーションが存在しない状況で、ミラーエラーをアクティブラーニングにおけるハードサンプル選別に用いることができるか？
• RQ5 ミラーエラーをフィードバックおよび再初期化機構に組み込むことで、キャスケード回帰モデルの性能向上が図れるか？

主な発見

• 人体ポーズ推定および顔関節分野における大多数の最先端モデルが、鏡像データを用いて学習しているにもかかわらず顕著なミラーエラーを示しており、ミラー可能性が低いことが示された。
• ミラーエラーは真の局所化誤差と強く相関しており（相関係数は約0.7）、性能の代理指標としての有効性が裏付けられた。
• ミラーエラーが高いサンプルは、異なるモデル間で一貫性を示し、真の誤差によって特定されたハードサンプルとよく一致した。
• RCPRにミラーエラーのフィードバックを組み込むことで性能が向上し、49個のランドマークを用いた300Wテストセットで5.35の正規化誤差という最先端の結果を達成した。
• 10個の初期化と最大4回のリスタートを許容するRCPR-F2バージョンが最良の性能を示し、ミラーエラーがフェイルーチェックおよび再初期化に有効であることが実証された。
• ミラーエラーは真のアノテーションに依存しない信頼性の高い指標であり、モデルの対称性保持の欠落を露呈するものであり、局所化のロバストネス評価の新たな次元を提供する。