[論文レビュー] Metric-Guided Prototype Learning.

Vivien Sainte Fare Garnot, Loïc Landrieu|arXiv (Cornell University)|Jul 6, 2020

Machine Learning and Data Classification参考文献 19被引用数 5

ひとこと要約

本稿では、コスト行列（変換されたメトリックに）を分類プロトタイプと特徴表現の学習に統合する、新しい分類レイヤー「メトリック誘導型プロトタイプ学習」を提案する。誘導されたメトリック下で特徴量とプロトタイプを同時に最適化することにより、特にメトリックが潜在的なデータ構造を明らかにする場合に、予測精度と一般化性能が向上する。農業時系列データ、深度画像セグメンテーション、その他のタスクにおいて検証済み。

ABSTRACT

Not all errors are created equal. This is especially true for many key machine learning applications. In the case of classification tasks, the hierarchy of errors can be summarized under the form of a cost matrix, which assesses the gravity of confusing each pair of classes. When certain conditions are met, this matrix defines a metric, which we use in a new and versatile classification layer to model the disparity of errors. Our method relies on conjointly learning a feature-extracting network and a set of class representations, or prototypes, which incorporate the error metric into their relative arrangement. Our approach allows for consistent improvement of the network's prediction with regard to the cost matrix. Furthermore, when the induced metric contains insight on the data structure, our approach improves the overall precision. Experiments on three different tasks and public datasets -- from agricultural time series classification to depth image semantic segmentation -- validate our approach.

研究の動機と目的

• 機械学習における誤分類の影響の不均一性、特に一部の誤りが他の誤りよりもコストが高くなる実世界の応用分野に対処すること。
• 有効なメトリックを誘導するコスト行列を用いて、誤りの差異をモデル化し、クラス表現の構造的学習を可能にすること。
• 誘導されたメトリック下で、深層特徴抽出とクラスプロトタイプを同時に最適化することで、予測の一貫性と正確性を向上させること。
• 異なるデータモダリティと誤り感受性を有する多様な実世界タスクにおいて、手法の有効性を検証すること。

提案手法

• ユーザーが定義した誤分類ペナルティのコスト行列を、メトリックの妥当性を保証する数学的条件を用いてメトリック空間に変換する。
• 誘導されたメトリックの幾何的制約を尊重しながら、クラスプロトタイプ（代表埋め込み）を学習する新しい分類レイヤーを導入する。
• メトリックがプロトタイプの相対的位置をガイドするように、特徴抽出器とプロトタイプ表現をエンドツーエンドの誤差逆伝播により同時に訓練する。
• メトリックが高コストの誤分類に対してより大きなペナルティを与えるように最適化を誘導し、より頑健な意思決定境界を形成する。
• 標準的なディープラーニングアーキテクチャと互換性があり、画像セグメンテーションや時系列分類を含むさまざまなタスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 誤分類ペナルティのコスト行列を、誤り深刻度の真の構造を反映する有効なメトリックに変換できるか？
• RQ2 学習されたメトリックをプロトタイプ学習に統合することで、非対称な誤りコスト下での予測性能がどのように向上するか？
• RQ3 誘導されたメトリックが内在するデータ構造を捉える場合、モデルの一般化性能はどの程度向上するか？
• RQ4 異なるデータモダリティを有する多様な機械学習タスクにおいて、本手法は一貫して性能を向上させるか？

主な発見

• コスト行列に基づいて予測性能が一貫して向上し、全体の精度を低下させることなく、高コスト誤りが削減された。
• 誘導されたメトリックが潜在的なデータ構造を反映する場合、モデルは全体の精度が向上し、一般化性能が向上していることが示された。
• 本手法は多様なタスクに一般化可能であり、農業時系列分類、深度画像セマンティックセグメンテーション、その他のベンチマークでも有効性を示した。
• 特徴量とメトリック誘導型プロトタイプの共同最適化により、より頑健で誤りに配慮した意思決定境界が得られた。