[論文レビュー] Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and Beyond

Đ. Khuê Lê-Huu, Karteek Alahari|arXiv (Cornell University)|Oct 27, 2021

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、密度型条件付きランダムフィールド（CRF）の推論および学習アルゴリズムとして、正則化Frank-Wolfeを提案する。これは、CRFエネルギーの非凸連続緩和を近似的な条件付き勾配更新により最適化することで、平均場法や凹凸分解手順を一般化する。この手法は、PASCAL VOCで88.0の平均IoUを達成し、バックプロパゲーションを用いたエンドツーエンド学習に適した微分可能で高速収束性を持つ。DeepLabv3+などの強力なCNNベースラインや平均場推論を上回る最先端の性能を達成する。

ABSTRACT

We introduce regularized Frank-Wolfe, a general and effective algorithm for inference and learning of dense conditional random fields (CRFs). The algorithm optimizes a nonconvex continuous relaxation of the CRF inference problem using vanilla Frank-Wolfe with approximate updates, which are equivalent to minimizing a regularized energy function. Our proposed method is a generalization of existing algorithms such as mean field or concave-convex procedure. This perspective not only offers a unified analysis of these algorithms, but also allows an easy way of exploring different variants that potentially yield better performance. We illustrate this in our empirical results on standard semantic segmentation datasets, where several instantiations of our regularized Frank-Wolfe outperform mean field inference, both as a standalone component and as an end-to-end trainable layer in a neural network. We also show that dense CRFs, coupled with our new algorithms, produce significant improvements over strong CNN baselines.

研究の動機と目的

• 強力なCNNの登場に伴い密度型CRFの性能が低下する問題に対処するため、より効果的な推論および学習アルゴリズムを開発すること。
• 平均場法や凹凸分解手順といった既存の推論手法を、統一的な最適化フレームワークで統合すること。
• バックプロパゲーションを用いたエンドツーエンド学習に適した、微分可能で高速収束するCRF推論を可能にすること。
• 提案手法を用いた密度型CRFが、強力なCNNベースラインを著しく上回ることを示すこと。

提案手法

• CRF推論の非凸連続緩和に一般化された条件付き勾配法として、正則化Frank-Wolfeを提案する。
• 近似的な条件付き勾配更新を用い、正則化エネルギー関数の最小化と同等となるようにし、反復計算の微分可能性を実現する。
• ラベル割り当てに二値制約を確率シンプレックス制約に置き換えることで、離散MAP推論問題の連続緩和を導入する。
• 単一項および二項潜在変数行列を用いたブロック構造エネルギー定式化を行い、全エネルギーを二次形式として表現する。
• 収束速度がO(1/√k)となるステップサイズスキームを適用し、強い凸性または凹エネルギー条件が成り立つ場合にはO(1/k)に改善される。
• 反復計算の(部分)微分可能性を維持するようにアルゴリズムを設計し、勾配ベースの学習とCRF層を介したバックプロパゲーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 統一的な最適化フレームワークにより、平均場法や凹凸分解手順といった既存のCRF推論手法を一般化できるか？
• RQ2 正則化Frank-Wolfeは、密度型CRF推論において、平均場法よりも高速に収束し、より優れた性能を達成できるか？
• RQ3 提案手法は、セマンティックセグメンテーションのための微分可能で学習可能な層として、深層ニューラルネットワークに効果的に統合できるか？
• RQ4 新しい推論手法を用いた密度型CRFは、DeepLabv3+のような強力なCNNベースラインをどの程度上回れるか？
• RQ5 正則化パラメータや反復回数の変更に伴い、正則化Frank-Wolfeの性能はどのように変化するか？

主な発見

• 提案された正則化Frank-Wolfe手法は、PASCAL VOCテストセットで88.0の平均交差率（mIoU）を達成し、DeepLabv3+ CNNベースラインを上回った。
• ℓ2FWやeFWといった正則化Frank-Wolfeの複数の実装例が、スタンドアロンおよびエンドツーエンド学習設定の両方で、平均場推論を上回る性能を示した。
• 実用的には、20回以内の反復で顕著なエネルギー低減が観察され、初期段階の反復でPGD、PGM、ADMMを上回った。
• 本手法は(部分)微分可能な反復計算を維持しており、ニューラルネットワーク内でのCRF層の効果的なバックプロパゲーションとエンドツーエンド学習を可能にした。
• 実験的結果から、正則化Frank-Wolfeを用いた密度型CRFは、PASCAL VOCやCityscapesを含む複数のデータセットで一貫した性能向上を示した。
• 理論的収束速度はO(1/√k)であり、強い凸正則化子や凹エネルギー関数が成り立つような条件下ではO(1/k)に改善された。