[論文レビュー] The Signed Distance Function: A New Tool for Binary Classification

Erik M. Boczko, Todd Young|ArXiv.org|Nov 30, 2005

Spectroscopy Techniques in Biomedical and Chemical Research参考文献 20被引用数 10

ひとこと要約

本稿では、境界までの距離情報を内蔵する滑らかさと特徴を持つ符号付き距離関数（SDF）を、二値分類における指標関数の幾何的代替手段として提案する。単純で最適化されていないSDFベースの分類器は、線形問題では標準SVMと比較して誤分類を50%も減らし、非線形なベンチマークマイクロアレイデータセットではSVMと同等またはそれを上回る性能を示した。

ABSTRACT

From a geometric perspective most nonlinear binary classification algorithms, including state of the art versions of Support Vector Machine (SVM) and Radial Basis Function Network (RBFN) classifiers, and are based on the idea of reconstructing indicator functions. We propose instead to use reconstruction of the signed distance function (SDF) as a basis for binary classification. We discuss properties of the signed distance function that can be exploited in classification algorithms. We develop simple versions of such classifiers and test them on several linear and nonlinear problems. On linear tests accuracy of the new algorithm exceeds that of standard SVM methods, with an average of 50% fewer misclassifications. Performance of the new methods also matches or exceeds that of standard methods on several nonlinear problems including classification of benchmark diagnostic micro-array data sets.

研究の動機と目的

• 指標関数に基づく分類手法の幾何的原理に裏付けられた代替手法の開発。
• 境界までの距離情報を符号付き距離関数（SDF）が有する利点が、従来の指標関数よりも二値分類において優れているかどうかの調査。
• SDFベースの分類器の性能を、合成的な幾何的問題および実世界のバイオメディカルデータの両方で評価すること。
• SDF再構成を、より正確で信頼性の高い分類アルゴリズムの基盤として使用する可能性の検討。

提案手法

• 本手法は、学習データから正のクラスの境界の符号付き距離関数（SDF）を再構成する。SDF値はクラス内では正、外では負、境界上ではゼロとなる。
• 各学習点について、SDF値は訓練セット内の反対クラスの最近傍点までのユークリッド距離を計算することで近似される。
• その後、SDF値をラベルとして使用し、線形モデルで単純な線形分類器を学習する。テスト点におけるSDF値を予測する。
• 最終的な分類決定は、予測されたSDF値をゼロで閾値処理することによって行われる。正の値はクラス所属を示す。
• 非線形問題では、SDFをモデル化するためにカーネル回帰（例：ガウスカーネル）を用い、SVMやRBFNの手法に類似したアプローチを採用する。
• 同一の訓練/テスト分割とハイパーパrameterを用いて、SVM、RBFN、KNNと直接比較することで、公平な評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 符号付き距離関数（SDF）は、従来の指標関数よりも、二値分類の幾何的基盤としてより効果的であると考えられるか？
• RQ2 線形分離可能な問題において、SDFベースの分類は標準SVM手法と比較してどのように性能を発揮するか？
• RQ3 複雑で非線形的かつ高次元のバイオメディカルデータセットにおいて、SDFベースの分類器は最先端のSVMを同等または上回る性能を示せるか？
• RQ4 回帰フレームワークにおいてSDF値をラベルとして使用する影響は何か？
• RQ5 SDFフレームワークは、意思決定境界までの距離情報により、自然に信頼性の推定を提供できるか？

主な発見

• 線形分離可能な問題において、最適化されていないSDFベースの分類器は、標準SVMと比較して平均で誤分類を50%も削減した。
• 4×4のチェッカーボード問題において、SDFベースの手法は標準SVMを上回った。
• 乳癌（ER）データセットでは、SDF分類器の誤分類率は8.69%であり、最良のSVMと同等の性能を示した。
• コロニー癌データセットでは、SDF分類器の誤分類率は16.62%であり、SVMの17.00%を上回った。
• 白血病データセットでは、SDF分類器は1.67%の誤分類率を達成し、最良のSVM性能と同等であった。
• SDFベースの手法は、複数のベンチマークマイクロアレイデータセットにおいて一貫した性能を示し、最適化を行わずともSVMの精度を常に同等または上回った。