[論文レビュー] Bottom-Up and Top-Down Reasoning with Hierarchical Rectified Gaussians

Peiyun Hu, Deva Ramanan|arXiv (Cornell University)|Jul 21, 2015

Human Pose and Action Recognition参考文献 59被引用数 6

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）に二次エネルギー関数を用いて反復ネットワークと整数線形ユニットを介してトップダウンフィードバックを統合する階層的リクタフィード・ガウス（RG）モデルを提案する。この手法により、パrameterを追加せずに、遮蔽下におけるキーポイント局在化の性能を大幅に向上させ、MPIIおよびLSPベンチマークで、より良い空間的理解を得るための双方向的推論を活用して、最先端の性能を達成する。

ABSTRACT

Convolutional neural nets (CNNs) have demonstrated remarkable performance in recent history. Such approaches tend to work in a unidirectional bottom-up feed-forward fashion. However, practical experience and biological evidence tells us that feedback plays a crucial role, particularly for detailed spatial understanding tasks. This work explores bidirectional architectures that also reason with top-down feedback: neural units are influenced by both lower and higher-level units. We do so by treating units as rectified latent variables in a quadratic energy function, which can be seen as a hierarchical Rectified Gaussian model (RGs). We show that RGs can be optimized with a quadratic program (QP), that can in turn be optimized with a recurrent neural network (with rectified linear units). This allows RGs to be trained with GPU-optimized gradient descent. From a theoretical perspective, RGs help establish a connection between CNNs and hierarchical probabilistic models. From a practical perspective, RGs are well suited for detailed spatial tasks that can benefit from top-down reasoning. We illustrate them on the challenging task of keypoint localization under occlusions, where local bottom-up evidence may be misleading. We demonstrate state-of-the-art results on challenging benchmarks.

研究の動機と目的

• ボトムアップ方向のCNNに限界がある詳細な空間的推論タスク、特に遮蔽下での性能向上を図ること。
• 階層的確率的モデルに裏付けられた確率的でエネルギーベースの枠組みを用いて、深層ネットワークにトップダウンフィードバックを統合すること。
• 最適化を反復ネットワークにアンロールすることで、標準的なディープラーニングツールボックスを用いた階層的モデルの判別的学習を可能にすること。
• モデルパラメータを増加させることなく、キーポイント局在化や可視性予測のような「注意深く観察する視覚タスク」における性能を向上させること。
• リクタフィード・ガウス分布を通じて、CNNと階層的確率的モデルの間の理論的かつ実用的な接続を確立すること。

提案手法

• ニューラルユニットを二次エネルギー関数内の非負の潜在変数としてモデル化し、リクタフィード・ガウス（RG）分布を形成する。
• 階層的構造における層間の双方向的相互作用を、対称行列Wとバイアスベクトルbで符号化する。
• 座標降下法による二次計画問題（QP）の推論を実行し、ReLU活性化関数を用いた再帰的ニューラルネットワークにアンロールする。
• GPU加速勾配降下法を用いてRGモデルを最適化し、標準的なディープラーニングフレームワークによるエンドツーエンド学習を可能にする。
• VGG16のような最先端アーキテクチャに、パラメータ数を増加させずにフィードバックパスを追加することで、本手法を適用する。
• マルチスケールのボトムアップ特徴量を用い、再帰的フィードバックにより繰り返し予測を精緻化し、局在化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 トップダウンフィードバックは、遮蔽や曖昧な視覚的条件下でのキーポイント局在化を改善できるか？
• RQ2 リクタフィード・ガウスに基づく階層的確率的モデルは、ディープラーニングツールボックスを用いてエンドツーエンドで学習可能か？
• RQ3 CNNに双方向的推論を統合することで、モデルの複雑さを増さずに「注意深く観察する視覚タスク」における性能が向上するか？
• RQ4 階層的RGモデルにおけるフィードバックイテレーション回数は、性能にどのように影響するか？
• RQ5 トップダウンフィードバックは、キーポイントの局在化に加え、可視性予測の向上にも寄与するか？

主な発見

• 提案されたトップダウンモデル ${\bf QP}_2$ は、MPIIベンチマークでPCKh-0.5が82.4%に達し、先行研究の最先端手法を上回った。
• LSPデータセットでは、トップダウンモデルによりPCKh-0.5がボトムアップの76.8%から78.6%に向上し、ベースラインから2%の向上を達成した。
• MPIIにおける可視性予測では、80%の精度でのリコールが44%から49%に向上し、より優れた推論能力を示した。
• 4回のフィードバックイテレーションを実行したモデル（${\bf QP}_4$）は、より小さなネットワークでも最高の性能を達成したが、${\bf QP}_2$ は速度と精度のバランスに優れていた。
• トップダウンモデルは、先行手法TB [45] よりも2倍速い（86.5 ms）にもかかわらず、より高い精度を達成した。
• すべての再帰的RGモデルがボトムアップベースラインを上回り、追加パラメータなしにフィードバックが特徴の質を向上させることを確認した。