[論文レビュー] Unsupervised Data Uncertainty Learning in Visual Retrieval Systems

Ahmed Taha, Yi‐Ting Chen+3 more|arXiv (Cornell University)|Feb 7, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 5

ひとこと要約

本論文は、各入力のインスタンス固有の不確実性推定を学習することで、視覚検索システムにおける非定常なデータ不確実性をモデル化する非教師あり拡張を提案する。不確実性を損失関数に統合することにより、モデルのロバスト性、解釈可能性、効率性が向上し、誤差伝搬が低減され、計算コストを増加させることなくデータクリーニングが可能になる。

ABSTRACT

We introduce an unsupervised formulation to estimate heteroscedastic uncertainty in retrieval systems. We propose an extension to triplet loss that models data uncertainty for each input. Besides improving performance, our formulation models local noise in the embedding space. It quantifies input uncertainty and thus enhances interpretability of the system. This helps identify noisy observations in query and search databases. Evaluation on both image and video retrieval applications highlight the utility of our approach. We highlight our efficiency in modeling local noise using two real-world datasets: Clothing1M and Honda Driving datasets. Qualitative results illustrate our ability in identifying confusing scenarios in various domains. Uncertainty learning also enables data cleaning by detecting noisy training labels.

研究の動機と目的

• ノイズの多いラベルや曖昧な入力から生じる視覚検索システムにおける固有のデータ不確実性に対処する。
• トレーニング段階および推論段階の両方で、混乱しやすいまたは不確実な視覚的例を特定することで、モデルの解釈可能性を向上させる。
• ラベル付きの不確実性を必要としないまま、埋め込み空間における局所的ノイズをモデル化することで、システムのロバスト性と効率性を高める。
• 不確実性の定量化を通じて、ノイズの多いトレーニングラベルを検出することで、データクリーニングを可能にする。
• 高リスクな応用分野、例えば自律走行のための安全を重視するアプリケーションにおいて、高不確実性で曖昧な走行シナリオを特定する。

提案手法

• 標準の三つ組損失を拡張し、アーキテクチャ、ポジティブ、ネガティブサンプルの各インスタンス固有の不確実性推定を組み込む。
• 各データポイントに対して入力依存の不確実性分散 σ(x) を学習することで、非定常な不確実性をモデル化する（定常なノイズレベルを仮定するのではなく）。
• 最適化中に高い不確実性を持つ入力を低重み化するように、不確実性を損失関数に統合する。
• 明示的な不確実性ラベルを必要としない非教師あり定式化を採用することで、現実世界のノイズの多いデータセットへの適用が可能になる。
• 追加のパラメータや複雑な推論メカニズムを避けることで、計算効率を維持する。
• 画像（例：person re-ID、ファッション検索）および動画（例：自律走行）の両方の検索タスクに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きの不確実性を必要とせずに、視覚検索システムにおける非定常な不確実性を効果的にモデル化できるか？
• RQ2 インスタンス固有の不確実性をモデル化することで、ノイズの多いデータセットにおける検索性能とロバスト性がどのように向上するか？
• RQ3 不確実性推定は、トレーニングデータおよびテストデータにおける混乱しやすいまたは曖昧な視覚的例をどの程度正確に特定できるか？
• RQ4 不確実性モデル化は、自律走行のような現実世界の応用分野において、解釈可能性とデータクリーニングをどのように向上させるか？
• RQ5 本手法は、異なるデータモダリティ（画像対動画）およびクラス不均衡の下で、どのように性能を発揮するか？

主な発見

• 提案手法は、画像および動画検索ベンチマークの両方で、1〜2%の効率向上を達成した。
• DukeMTMC-ReIDデータセットでは、遮蔽や曖昧な人物再識別ケースといった高不確実性のクエリを、モデルが正常に同定した。
• Honda Driving Datasetでは、歩行者に遮られていた右折や複雑なレーン変更といった高不確実性の走行マニューバーを検出できた。
• 刺激駆動型行動検索タスクにおいて、マイクロ mAP は 68.20 ± 0.008、マクロ mAP は 36.23 ± 0.008 を達成し、ベースラインを上回った。
• 定性的な結果から、高不確実性のクエリは、クラス間の類似性や遮蔽といった視覚的混乱と一貫して関連しているのに対し、低不確実性のケースはより明確に分離されていることが示された。
• 性能向上にもかかわらず、本手法はマイノリティクラスに対してバイアスを示しており、まれだが不確実なサンプルが過剰に減衰することでマクロ mAP が低下した。