[論文レビュー] Large-scale Distance Metric Learning with Uncertainty

Qi Qian, Jiasheng Tang+3 more|arXiv (Cornell University)|May 25, 2018

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 3

ひとこと要約

本稿では、ノイズが多く不確実性の高いデータから、頑健な距離係数とクリアな潜在的例を同時に学習する大規模な距離係数学習フレームワークであるマージン保存メトリック学習（MaPML）を提案する。生データの代わりに小さな潜在的例のセットで学習することで、収束が早くなり、歪みに対してより頑健になり、元のデータのマージンを保持する。CIFAR-10、CIFAR-100、ImageNetで最先端の精度を達成し、従来の手法よりも著しく高速な学習を実現した。

ABSTRACT

Distance metric learning (DML) has been studied extensively in the past decades for its superior performance with distance-based algorithms. Most of the existing methods propose to learn a distance metric with pairwise or triplet constraints. However, the number of constraints is quadratic or even cubic in the number of the original examples, which makes it challenging for DML to handle the large-scale data set. Besides, the real-world data may contain various uncertainty, especially for the image data. The uncertainty can mislead the learning procedure and cause the performance degradation. By investigating the image data, we find that the original data can be observed from a small set of clean latent examples with different distortions. In this work, we propose the margin preserving metric learning framework to learn the distance metric and latent examples simultaneously. By leveraging the ideal properties of latent examples, the training efficiency can be improved significantly while the learned metric also becomes robust to the uncertainty in the original data. Furthermore, we can show that the metric is learned from latent examples only, but it can preserve the large margin property even for the original data. The empirical study on the benchmark image data sets demonstrates the efficacy and efficiency of the proposed method.

研究の動機と目的

• 三重項制約の2次または3次関数的増加により、大規模距離係数学習（DML）が計算的に非現実的になる問題に対処すること。
• 特にポーズ、照明、ノイズなどの歪みを含む画像データにおける不確実性を、クリアな潜在的例の摂動としてモデル化することで、その耐性を高めること。
• 訓練例を小さな潜在的例のセットに削減することで、DMLにおける効率的なアクティブセット最適化を可能にすること。
• 学習された係数が、潜在的例だけでなく、元のノイズのあるデータに対しても大きなマージンを保持することを保証すること。
• ImageNetを含む大規模ベンチマークにおいて、提案手法の有効性と効率性を実証すること。

提案手法

• 本手法は、同じ訓練データから距離係数と潜在的例を同時に最適化するマージン保存型メトリック学習フレームワークを導入する。
• 各元のデータポイントをクリアな潜在的例の摂動としてモデル化することで、データの不確実性を低減し、一般化性能を向上させる。
• アクティブ三重項制約を用い、違反している三重項のみを処理する。潜在的例の小さなサイズを活かして、このステップを計算的に可能にする。
• サブプロブレムソルバーを用いた最適化で、切り捨て平面法を採用することで、高速な収束を実現する。
• 学習された係数を元のデータに適用し、理論的および実験的にマージンの保存が保証されることを示す。
• 事前学習済みネットワークを必要とせず、ピxlsレベルの特徴を直接使用することで、画像として解釈可能な潜在的例を回復可能にする。

実験結果

リサーチクエスチョン

• RQ1 クリアな潜在的例の小さなセットから学習することで、大規模距離係数学習の計算コストを著しく削減できるか？
• RQ2 潜在的例から学習することで、画像の歪みなどのデータ不確実性に対する耐性が向上するか？
• RQ3 潜在的例のみで学習された係数が、元のノイズのあるデータに対しても大きなマージンを保持できるか？
• RQ4 ImageNetなどの大規模ベンチマークにおいて、従来のDML手法と比較して、精度と効率性の面で提案手法は優れているか？
• RQ5 生データではなく潜在的例で学習する場合、大規模DMLにおいてアクティブセット戦略を効率的に適用できるか？

主な発見

• CIFAR-10では、MaPMLは12.64% ± 0.16のテスト誤差率を達成し、LMNN（13.62% ± 0.12）とOASIS（15.22% ± 0.18）を上回った。
• CIFAR-100では、MaPMLは34.70% ± 0.16の誤差率を達成し、OASIS（42.46% ± 0.21）とHR-SGD（42.53% ± 0.19）を著しく上回った。
• ImageNetでは、MaPMLはテスト誤差率を33.92% ± 0.09まで低下させ、ベースラインのユークリッド係数（35.65%）と比較して1.7%の改善を達成したが、事前学習済みResNet18の特徴を用いた。
• MaPMLはImageNetで約1時間で学習を完了したが、LMNNは24時間以内に学習を完了できず、スケーラビリティの優位性が示された。
• 推論時間は、元のデータを使用した場合の1枚あたり0.15秒から、潜在的例を使用した場合の0.007秒に短縮され、リアルタイムデプロイメントが可能になった。
• 可視化により、元の画像が学習された潜在的例の歪みとしてよく説明されることを確認し、モデルのデータ生成仮定が妥当であることが裏付けられた。