[論文レビュー] Total Variation and Euler's Elastica for Supervised Learning

Tong Lin, Hanlin Xue+2 more|arXiv (Cornell University)|Jun 18, 2012

Medical Image Segmentation Techniques参考文献 22被引用数 5

ひとこと要約

本論文は、高次元データにおけるTikhonov正則化エネルギー関数に全 variation (TV) とオイラーのエラスティカ (EE) 正則化を統合する、画期的な教師あり学習フレームワークを提案する。径路基底関数を用いて解を近似することで、変分原理から導かれる高次元PDEを扱いやすい線形系に低次元化し、ICML 2012のベンチマーク分類および回帰タスクで最先端の性能を達成した。

ABSTRACT

In recent years, total variation (TV) and Euler's elastica (EE) have been successfully applied to image processing tasks such as denoising and inpainting. This paper investigates how to extend TV and EE to the supervised learning settings on high dimensional data. The supervised learning problem can be formulated as an energy functional minimization under Tikhonov regularization scheme, where the energy is composed of a squared loss and a total variation smoothing (or Euler's elastica smoothing). Its solution via variational principles leads to an Euler-Lagrange PDE. However, the PDE is always high-dimensional and cannot be directly solved by common methods. Instead, radial basis functions are utilized to approximate the target function, reducing the problem to finding the linear coefficients of basis functions. We apply the proposed methods to supervised learning tasks (including binary classification, multi-class classification, and regression) on benchmark data sets. Extensive experiments have demonstrated promising results of the proposed methods.

研究の動機と目的

• 画像処理で広く用いられている全 variation (TV) およびオイラーのエラスティカ (EE) を、高次元データにおける教師あり学習に拡張すること。
• 教師あり学習における変分的定式化から生じる高次元のオイラー＝ラグランジュPDEを解く課題に取り組むこと。
• TVまたはEEペナルティを含むTikhonov正則化エネルギー関数を最小化する計算的に実行可能な手法を開発すること。
• 標準的なベンチマークデータセットを用いて、二値分類および多値分類、回帰タスクにおける本手法の評価を行うこと。

提案手法

• 教師あり学習をTikhonov正則化の下でのエネルギー最小化問題として定式化し、二乗損失と、全 variation またはオイラーのエラスティカによる平滑化を組み合わせる。
• エネルギー関数の変分原理からオイラー＝ラグランジュPDEを導出し、最適解を支配する方程式を特定する。
• 未知の目的関数を径路基底関数 (RBF) で表現することで、PDEをRBF係数に関する有限次元線形系に変換する。
• 得られた線形系を、RBF係数に関して正則化エネルギー関数を最小化することで解く。
• 損失関数を適切に変更することで、回帰および分類タスクの両方に本手法を適用する。
• 性能評価には標準的なベンチマークデータセットを用い、TVおよびEEに基づくモデルをベースライン手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 高次元データにおける教師あり学習において、全 variation 正則化は一般化性能を向上させるか？
• RQ2 曲率が小さい滑らかな曲線を好むオイラーのエラスティカ正則化は、標準的なTVよりも教師あり学習で優れた性能を発揮するか？
• RQ3 変分的定式化から生じる高次元PDEを実用的に効果的に解く方法は何か？
• RQ4 TVおよびEE正則化は、分類および回帰タスクにおける予測精度をどの程度向上させるか？
• RQ5 RBFに基づく近似戦略は、元の変分的定式化の幾何的性質および正則化特性を保持するか？

主な発見

• 提案手法のTVおよびEEベースのモデルは、複数のベンチマークデータセットにおいてベースライン手法と比較して競争的または優れた性能を達成した。
• 径路基底関数の使用により、高次元PDEの解の効果的な近似が可能となり、計算上の実行可能性が確保された。
• オイラーのエラスティカ正則化は、データ内の部分的に滑らかな構造を特に効果的に保持することができ、分類タスクにおいて有益であった。
• 本手法は、二値分類および多値分類、回帰のさまざまな教師あり学習タスクにおいて、堅牢な性能を示した。
• 実験的結果により、TVおよびEEによる幾何的正則化を組み込むことで、一般化性能および予測精度が向上することが確認された。