[論文レビュー] Supervised functional classification: A theoretical remark and some comparisons

Amparo Baı́llo, Antonio Cuevas|ArXiv.org|Jun 17, 2008

Spectroscopy and Chemometric Analyses参考文献 27被引用数 5

ひとこと要約

本稿では、三角型の共分散関数を有する広範なガウス過程のクラスにおいて、関数データに対するk近傍法（k-NN）分類器の一貫性を確立し、実データおよびシミュレートデータの複数の関数的分類器とk-NNを経験的に比較している。結果として、滑らかな関数的データに対してL∞ノルムを用いたk-NNは強く、他の手法を上回るか同等の性能を示し、関数的分類における信頼できるベンチマークとしての役割を支持する。

ABSTRACT

The problem of supervised classification (or discrimination) with functional data is considered, with a special interest on the popular k-nearest neighbors (k-NN) classifier. First, relying on a recent result by Cerou and Guyader (2006), we prove the consistency of the k-NN classifier for functional data whose distribution belongs to a broad family of Gaussian processes with triangular covariance functions. Second, on a more practical side, we check the behavior of the k-NN method when compared with a few other functional classifiers. This is carried out through a small simulation study and the analysis of several real functional data sets. While no global "uniform" winner emerges from such comparisons, the overall performance of the k-NN method, together with its sound intuitive motivation and relative simplicity, suggests that it could represent a reasonable benchmark for the classification problem with functional data.

研究の動機と目的

• 三角型共分散関数を有する一般クラスのガウス過程の下で、関数的データに対するk-NN分類器の理論的一貫性を確立すること。
• 実データおよびシミュレートデータの両方において、k-NNの経験的性能を他の関数的分類手法と比較すること。
• k-NNの単純さにもかかわらず、関数的分類において強力で実用的なベンチマークのままであるかどうかを評価すること。
• 関数的曲線の平滑化がk-NN分類性能に与える影響を調査すること。
• PLS、MWR、hモーダル手法を含む、さまざまな関数的分類技術の計算効率と正確性を比較すること。

提案手法

• 理論的分析は、CérouとGuyader（2006）の結果に依拠し、三角型共分散関数を有するガウス過程のクラスにおいて、関数的データに対するk-NN分類器の一貫性を証明する。
• 経験的比較は、滑らかな曲線と不規則でスパイクを持つ軌道を有する2つのモデルを用いたシミュレーションスタディを通じて実施される。
• 実データの場合は、6つのデータセット（Berkeley Growth、ECG、MCO、Spectrometric、Phoneme、Medflies）に対して交差検証を用い、平均正しく分類された割合を算出する。
• k-NN分類器は、関数的観測値間の距離計算にL²およびL∞ノルムの両方を用いて適用される。
• 追加で比較された手法には、部分最小二乗法（PLS）、hモーダル分類器、正則化投影（RP）、およびクラス内平均回帰（MWR）が含まれる。
• Medfliesデータに対してスプラインによる平滑化を施し、L∞ノルムを用いたk-NN性能への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 k-NN分類器は、三角型共分散関数を有するガウス過程を前提とした関数的データに対し、一貫性を示すか？
• RQ2 実データにおいて、L∞ノルムを用いたk-NN分類器は、他の関数的分類器と比較して分類精度で優れているか？
• RQ3 不規則な関数的データを平滑化することで、k-NN分類器の性能は向上するか？
• RQ4 関数的データにおいて、k-NNはPLS、MWR、hモーダル分類器と比較して、計算効率と正確性の両面で相対的に優れているか？
• RQ5 k-NNはその単純さと優れた経験的性能から、関数的分類の信頼できるベンチマークとして機能できるか？

主な発見

• CérouとGuyader（2006）の結果に依拠して、三角型共分散関数を有する広範なガウス過程のクラスにおいて、関数的データに対するk-NN分類器の理論的一貫性が確立された。
• ECGデータセットでは、L∞ノルムを用いたk-NNが99.00％の正しく分類された割合を達成し、PLS（98.25％）とhモーダル（99.00％）を除くすべての手法を上回った。
• MCOデータセットでは、L∞ノルムを用いたk-NNが84.27％の正確性を示し、PLS（88.76％）をわずかに下回ったが、RP（70.79％）とMWR（68.54％）を著しく上回った。
• Medfliesデータセットでは、L∞ノルムを用いたk-NNの性能が、非平滑化時（54.68％）から平滑化後（57.12％）に向上し、不規則な曲線においても平滑化が性能向上に寄与することを示した。
• Phonemeデータセットでは、L²ノルムを用いたk-NNが78.00％の正確性を示し、L∞ノルム（73.00％）とMWR（69.50％）を上回った。これは、データの種類に応じて距離計測法の選択が重要であることを示している。
• 計算コストが高めであるものの、PLSは分光計測データで最高の正確性（91.63％）を達成したが、k-NN（L∞：90.70％、L²：85.58％）も強く、優れた競合者であった。