[論文レビュー] Prototype Propagation Networks (PPN) for Weakly-supervised Few-shot Learning on Category Graph

Lu Liu, Tianyi Zhou+4 more|arXiv (Cornell University)|May 10, 2019

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、粗いクラスラベルによる弱教師ありデータを活用して少サンプル分類を向上させるメタラーニングフレームワーク、プロトタイプ伝搬ネットワーク（PPN）を提案する。アテンションベースのメカニズムを用いてカテゴリグラフ上でプロトタイプを伝搬させることで、KNN分類の精度を向上させ、WS-ImageNet-PureおよびWS-ImageNet-Mixで最先端の性能を達成し、ベースライン比で1ショット設定で最大15%の相対的改善を実現した。

ABSTRACT

A variety of machine learning applications expect to achieve rapid learning from a limited number of labeled data. However, the success of most current models is the result of heavy training on big data. Meta-learning addresses this problem by extracting common knowledge across different tasks that can be quickly adapted to new tasks. However, they do not fully explore weakly-supervised information, which is usually free or cheap to collect. In this paper, we show that weakly-labeled data can significantly improve the performance of meta-learning on few-shot classification. We propose prototype propagation network (PPN) trained on few-shot tasks together with data annotated by coarse-label. Given a category graph of the targeted fine-classes and some weakly-labeled coarse-classes, PPN learns an attention mechanism which propagates the prototype of one class to another on the graph, so that the K-nearest neighbor (KNN) classifier defined on the propagated prototypes results in high accuracy across different few-shot tasks. The training tasks are generated by subgraph sampling, and the training objective is obtained by accumulating the level-wise classification loss on the subgraph. The resulting graph of prototypes can be continually re-used and updated for new tasks and classes. We also introduce two practical test/inference settings which differ according to whether the test task can leverage any weakly-supervised information as in training. On two benchmarks, PPN significantly outperforms most recent few-shot learning methods in different settings, even when they are also allowed to train on weakly-labeled data.

研究の動機と目的

• 弱教師ありの粗いラベルデータをメタラーニングフレームワークに統合することで、少サンプル分類の性能を向上させること。
• 安価で階層的なカテゴリ関係を活用することで、少サンプル学習におけるラベル付きデータの限界を克服すること。
• 関連するクラス間で知識を伝達するためのプロトタイプ伝搬メカニズムを構築すること。
• 再利用可能なグラフ構造の計算モデルを用いて、新しいタスクやクラスに対して継続的にプロトタイプを適応させること。

提案手法

• PPNは、粗いレベルでのラベルが付与された弱教師ありデータと組み合わせた少サンプルタスクで学習し、階層的なクラス関係をモデル化するカテゴリグラフを用いる。
• アテンションメカニズムが、グラフ上の親クラスから子クラスへプロトタイプを伝搬するためのエッジ重みを計算する。
• カテゴリグラフからサンプリングされた部分グラフ上で分類損失を最小化し、レベルごとの学習目的を用いる。
• 誤差逆伝播を用いてプロトタイプを更新することで、細分化されたクラスから粗いクラスへ、およびその逆方向へ誤差信号が伝わる。
• テスト時に弱教師ありデータへのアクセスがある・ないの2つの推論設定をサポートする。
• 新しいタスクに対して継続的に使用可能な、プロトタイプの計算グラフを維持・更新する。

実験結果

リサーチクエスチョン

• RQ1 弱教師ありの粗いラベルデータは、メタラーニングにおける少サンプル分類性能を顕著に向上させることができるか？
• RQ2 カテゴリグラフ上でプロトタイプを伝搬させることで、データが少ない環境における一般化性能がどのように向上するか？
• RQ3 アテンションベースの伝搬メカニズムは、意味的に関連するクラス間で知識を効果的に伝達できるか？
• RQ4 弱教師ありデータが少サンプルタスクと関係のない場合、本手法の性能はどの程度頑健か？
• RQ5 弱教師ありデータで訓練された標準的なメタラーニングベースラインですら、本手法のプロトタイプ伝搬メカニズムに劣るのか？

主な発見

• PPNはWS-ImageNet-Pureで最先端の性能を達成し、他の手法と比較して1ショット分類で15%の相対的改善を示した。
• PPN+はWS-ImageNet-Pureで全ベースラインを上回り、特に1ショット設定で顕著な効果を示した。これは、弱教師ありデータ統合の有効性を裏付けた。
• WS-ImageNet-Mixでは、弱教師ありデータが少サンプルタスクと関係のない状況でも、PPN+は1ショット精度で10%の相対的改善を達成した。
• 伝搬されたプロトタイプの重み（1−λ）を増加させることで、検証精度が一貫して向上した。これは、伝搬メカニズムの有効性を確認するものである。
• PPNの1イテレーション平均実行時間は、プロトタイプネットワークと比較してわずか約10%高い。これは、計算オーバーヘッドが最小限で、効率的な推論を可能にしていることを示している。
• 弱教師ありデータが少サンプルタスクと直接関連しない場合でも、モデルの性能は安定しており、データ分布のシフトに対しても頑健であることが示された。