[論文レビュー] Learning to Transfer Privileged Information

Viktoriia Sharmanska, Novi Quadrianto+1 more|arXiv (Cornell University)|Oct 1, 2014

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 18

ひとこと要約

本論文は、コンピュータビジョンにおける特権情報（LUPI）を用いた学習の統一フレームワークを提案する。属性、バウンディングボックス、画像タグを活用して、物体分類の性能を向上させる。本研究では、特権情報空間から元のデータ空間へのサンプルの容易さ／難易度の知識を転送する新しい最大マージン法「マージン転送」を提案し、二値および多値分類の両設定において、標準SVMおよびSVM+を上回る精度を達成する。

ABSTRACT

We introduce a learning framework called learning using privileged information (LUPI) to the computer vision field. We focus on the prototypical computer vision problem of teaching computers to recognize objects in images. We want the computers to be able to learn faster at the expense of providing extra information during training time. As additional information about the image data, we look at several scenarios that have been studied in computer vision before: attributes, bounding boxes and image tags. The information is privileged as it is available at training time but not at test time. We explore two maximum-margin techniques that are able to make use of this additional source of information, for binary and multiclass object classification. We interpret these methods as learning easiness and hardness of the objects in the privileged space and then transferring this knowledge to train a better classifier in the original space. We provide a thorough analysis and comparison of information transfer from privileged to the original data spaces for both LUPI methods. Our experiments show that incorporating privileged information can improve the classification accuracy. Finally, we conduct user studies to understand which samples are easy and which are hard for human learning, and explore how this information is related to easy and hard samples when learning a classifier.

研究の動機と目的

• 特権情報の多様なモダリティ（属性、バウンディングボックス、画像タグなど）を扱えるように、LUPIフレームワークをコンピュータビジョン、特に物体分類タスクに拡張すること。
• 属性、バウンディングボックス、画像タグといった異なる種類の特権情報の取り扱いを、一つの学習フレームワークで統合すること。
• 特権情報が、訓練サンプルの容易さ／難易度を特定することで、分類器の学習をどのように導けるかを調査すること。
• 多値分類におけるLUPIの評価を行い、二値設定にとどまらず、初めてこの文脈で多値分類に拡張すること。
• 機械学習で特定されたサンプルの容易さと、人間によるアノテーションによる容易さを比較し、学習における困難／容易なサンプルの性質を理解すること。

提案手法

• 特権空間におけるサンプルの容易さ／難易度の知識を、元のデータ空間に転送する方法としてLUPIを形式化する。
• 特権データを用いて訓練サンプルの重みを付与する新しい最大マージンアルゴリズム「マージン転送」を提案。Rank Transferを分類に適応させたものである。
• 二段階の学習プロセスを採用：まず特権空間で容易／困難なサンプルを特定し、次にその知識を元の空間に転送してより良い分類器を学習する。
• 再重み付けされた訓練データに対して標準SVMソルバーを適用することで、既存の最適化ツールとの互換性を確保する。
• 人間のアノテーション、特権空間、元のデータ空間における容易／困難サンプルの順序を比較するため、ケンダールのtau順位相関を用いる。
• 一対多戦略を用いてLUPIを多値分類に拡張し、より複雑な視覚認識タスクへの応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 属性、バウンディングボックス、画像タグといった特権情報が、統一されたフレームワーク内で一貫して物体分類性能を向上させることができるか？
• RQ2 マージン転送法は、二値および多値分類の両設定において、SVM+と比較して性能と一般化性能でどのように差をつけるか？
• RQ3 特権空間で機械が特定した容易／困難サンプルと、人間によるアノテーションによる容易さの相関はどの程度で、それが性能にどのように影響するか？
• RQ4 特権空間におけるサンプルの容易さと、元のデータ空間における最終的な分類器の性能の間にどのような関係があるか？
• RQ5 どのような状況で、人間によるアノテーションの特権情報が、属性やバウンディングボックスといった自動で導出された特権信号を上回るか？

主な発見

• マージン転送はSVM+と同等の性能を達成する一方で、標準SVMソルバーへの適合が容易であるため、実世界の導入に実用的である。
• 二値分類において、特権情報（例：属性、バウンディングボックス、タグ）を組み込むことで一貫して精度が向上し、ベースラインSVMに対して最大0.7%の向上を示した。
• 多値分類において、提案されたLUPIフレームワークと一対多戦略を用いることで、二値タスクを超えた一般化が成功した。これは、LUPIが二値タスクにとどまらず、初めて多値分類に応用された事例である。
• 人間によるアノテーションによる容易さスコアは、特権空間の順位付けよりも、元のデータ空間の順位付けとより強く相関しており、人間の認識が最終分類器の挙動とより一致していることを示唆している。
• グレートパンダ対ヒョウの例では、人間によるアノテーションの特権情報が属性ベースの特権情報を上回り、特定のカテゴリでは人間の認識がより効果的な信号である可能性を示している。
• ネズミ対ペルシャネコ、カワウオ対ハリモトの例では、人間のアノテーションとモデルが特定した困難／容易サンプルの相関が低く、性能が悪化していた。これは、特権空間と元のデータ空間のサンプル難易度の乖離が、負の転送を引き起こす可能性を示している。