[論文レビュー] metric-learn: Metric Learning Algorithms in Python

William de Vazelhes, CJ Carey+3 more|arXiv (Cornell University)|Aug 13, 2019

Machine Learning and Algorithms参考文献 17被引用数 31

ひとこと要約

metric-learn は、scikit-learn と互換性のある API を用いて、教師ありおよび弱教師ありの距離学習アルゴリズムを実装する Python パッケージであり、分類、クラスタリング、リtrieval などの機械学習パイプラインへのシームレスな統合を可能にします。LMNN、MMC、およびトリプレット／クアッドレット学習者を含むアルゴリズムによるマハラノビス距離学習をサポートしており、交差検証、ハイパーパramータチューニング、パイプライン処理の完全な互換性を備えています。

ABSTRACT

metric-learn is an open source Python package implementing supervised and weakly-supervised distance metric learning algorithms. As part of scikit-learn-contrib, it provides a unified interface compatible with scikit-learn which allows to easily perform cross-validation, model selection, and pipelining with other machine learning estimators. metric-learn is thoroughly tested and available on PyPi under the MIT licence.

研究の動機と目的

• scikit-learn エコシステムにスムーズに統合できる、生産用途に耐える統一された Python パッケージとしての距離学習アルゴリズムの提供。
• クラスラベル、ペア、トリプレット、クアッドレットの複数の教師タイプを、一貫したインターフェース内で統合すること。
• k-NN や LDA などの推定器を用いたパイpline処理、交差検証、モデル選択を含むエンドツーエンドの機械学習ワークフローの実現。
• スケーラブルで、十分にドキュメント化され、活発にメンテナンスされているオープンソースソリューションを、MIT ライセンスのもとで提供すること。
• 標準的および新しい距離学習手法をサポートすることで、距離学習の研究と実用的導入のギャップを埋めること。

提案手法

• 本パッケージは、点 x と x′ 間の距離を D_L(x,x′) = ||Lx - Lx′||₂ で定義する線形変換行列 L を学習することで、マハラノビス距離学習を実装しています。
• すべての距離学習アルゴリズムは、scikit-learn の基本クラス（例：TransformerMixin）を継承しており、パイプライン処理、交差検証、モデル選択との互換性を確保しています。
• 教師あり学習アルゴリズムは、同じクラスに属する点を近づけ、異なるクラスに属する点を遠ざけるような距離を最適化します。
• ペア学習アルゴリズムは、点のペアに対して +1（類似）または -1（非類似）のラベルを用い、類似ペアの距離を最小化する距離を学習します。
• トリプレットおよびクアッドレット学習アルゴリズムは、それぞれ3点および4点のタプルを用い、1番目の点が2番目の点よりも3番目の点よりも近い（または最初の2点が最後の2点よりも近い）ように制約を課します。
• 弱教師あり予測タスク用に、距離のしきい値を自動で設定するためのしきい値キャリブレーション手法（calibrate_threshold）を提供しています。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、scikit-learn と互換性を持つ一貫したインターフェースを用いて、距離学習アルゴリズムを統合し、機械学習ワークフローにおける使いやすさと統合性を向上させられるか？
• RQ2 実世界の応用において、完全に教師ありの方法と比較して、弱教師ありの距離学習（例：ペア、トリプレット、クアッドレットの教師）が性能に与える影響は何か？
• RQ3 1つの拡張可能な Python パッケージが、さまざまな教師レベルとデータスケールに対応する多様な距離学習アルゴリズムを効率的にサポートできるか？
• RQ4 scikit-learn パイプラインに距離学習を統合することで、k-NN 分類などの下流タスクにおけるモデルの精度と開発効率にどのような影響を与えるか？
• RQ5 古典的および新興のアルゴリズムを両方サポートできる、生産用途に耐えるオープンソースの距離学習ライブラリを構築するにあたり、重要な設計原則は何か？

主な発見

• metric-learn は、4種類の教師タイプ（教師あり、ペア、トリプレット、クアッドレット）をカバーする14の距離学習アルゴリズムを、一貫性のある scikit-learn 互換の API で提供しています。
• 本パッケージは、交差検証、グリッドサーチ、パイプライン構成を含む、scikit-learn のツールと完全に統合されており、Wine データセットを用いた LMNN-kNN パイプラインの実装例によって実証されています。
• 弱教師あり学習アルゴリズム（例：MMC）は、LFW ペアデータセットにおいて交差検証で平均 AUC スコア 0.893 ± 0.025 を達成し、最小限の教師信号でも高い性能を示しています。
• 本パッケージは PyPI および conda-forge で利用可能で、完全なテストカバレッジと活発な開発が行われており、Python 3.6 以降をサポートしています。
• components_ および get_mahalanobis_matrix の実装により、ユーザーは学習済み変換行列やマハラノビス行列を抽出・解釈し、分析や可視化に活用できます。
• 今後の拡張では、大規模データ向けの確率的ソルバー、マルチラベル、高次元、非線形距離学習アルゴリズムのサポートが予定されています。