[論文レビュー] Optimized Generic Feature Learning for Few-shot Classification across Domains

Tonmoy Saikia, Thomas Brox+1 more|arXiv (Cornell University)|Jan 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 29

ひとこと要約

本稿では、未学習のタスクおよびドメインにわたる一般化を向上させるために、ドメインをまたがる少数ショット分類をバリデーション目的として用いたハイパーパramータ最適化（HPO）を提案する。ドメイン間の少数ショットタスク上でハイパーパramータを最適化することで、Meta-Dataset において最先端の性能を達成し、従来のメタラーニングおよび少数ショット手法を上回る、ドメインおよびタスクにわたる一般化性能の向上を実現する。

ABSTRACT

To learn models or features that generalize across tasks and domains is one of the grand goals of machine learning. In this paper, we propose to use cross-domain, cross-task data as validation objective for hyper-parameter optimization (HPO) to improve on this goal. Given a rich enough search space, optimization of hyper-parameters learn features that maximize validation performance and, due to the objective, generalize across tasks and domains. We demonstrate the effectiveness of this strategy on few-shot image classification within and across domains. The learned features outperform all previous few-shot and meta-learning approaches.

研究の動機と目的

• 未学習のタスクおよびドメインにわたる少数ショット学習における学習済み特徴の一般化を向上させること。
• 1つのベンチマークでの性能を超えて、ハイパーパramータ最適化（HPO）が特徴の一般化を向上させられるかどうかを調査すること。
• ドメインをまたがる少数ショットタスクをHPOのバリデーション目的として用いる有効性を評価すること。
• 特徴のロバスト性および転移性を向上させる最適なハイパーパramータ設定を同定すること。
• HPOがモデルアンサンブルおよびデータオーグメンテーションと組み合わせて一般化性能を向上させることの妥当性を評価すること。

提案手法

• 深層ニューラルネットワーク特徴抽出器のための構造的ハイパーパramータ空間を探索するため、ベイズ最適化とハイパーバンド（BOHB）を用いる。
• バリデーションセットとして多様なタスクを備えた少数ショット分類の正確性をHPOの目的関数として用い、各タスクごとにサポートセットおよびクエリセットを定義する。
• サンプルされたハイパーパramータを用いて、ソースデータセット（例：ImageNet）で特徴抽出器を学習し、バリデーション中に少数ショットタスクで評価する。
• 操作数（N_ops）が可変であるデータオーグメンテーションを適用し、その構成を探索空間の一部として最適化する。
• 少数ショット評価にはN-センターロイド分類器を用い、クエリセットでの正確性を計算してHPOを誘導する。
• ドメイン内およびドメイン間の両方のHPOを実施し、トレーニングとは異なるドメインからのバリデーションタスクを用いる。

実験結果

リサーチクエスチョン

• RQ1 少数ショット分類をバリデーション目的として用いたハイパーパramータ最適化が、ドメインにわたる一般化を向上させられるか？
• RQ2 ドメイン間HPOは、ドメイン内HPOに比べ、未学習ドメインにおける少数ショット性能をどのように向上させるか？
• RQ3 学習率、バッチサイズ、最適化手法、データオーグメンテーションなどのハイパーパramータ設定のうち、どの組み合わせが最良の一般化をもたらすか？
• RQ4 モデルアンサンブルと組み合わせた場合、HPOが性能向上に寄与するか？
• RQ5 HPOは、一般的な最良実践法を超えて、一般化を向上させる非自明なハイパーパramータパターンを発見できるか？

主な発見

• ドメイン間少数ショットバリデーションを用いたHPOは、少数ショット分類の正確性を顕著に向上させ、Meta-Datasetで最先端の性能を達成した。
• 最高性能を示したモデル（BOHB-NC-S2）は、mini-ImageNetで66.41% ± 0.62、ImageNet-GBMで84.52% ± 0.41の正確性を達成し、従来の手法を上回った。
• HPOから得た上位20のモデルをアンサンブル化することで、性能はさらに向上し、D1で55.39% ± 1.06、D2で68.72% ± 0.87、D3で54.70% ± 1.02を記録した。これにより、アンサンブルとの高い相性が示された。
• 低い学習率および小さなバッチサイズ（例：8）が一貫して高い性能を示し、既知の原則をこの設定下で実証した。
• ImageNet-GBMではSGDがADAMを上回ったが、mini-ImageNetでは両者とも良好な性能を示した。これは、最適な選択がドメインに依存することを示している。
• 1つまたは2つのデータオーグメンテーション操作を連続して適用する（N_ops = 1 または 2）ことが最適であった。これは、中程度のオーグメンテーションが一般化を向上させることを示唆している。