[論文レビュー] GPU-based Self-Organizing Maps for Post-Labeled Few-Shot Unsupervised Learning

Lyes Khacef, Vincent Gripon+1 more|arXiv (Cornell University)|Sep 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 6

ひとこと要約

本論文は、エッジデバイスへのデプロイを想定し、転移学習と自己組織化マップ（SOMs）を組み合わせた、GPUアクセラレートされた後処理ラベル付き少数-shot無教師学習手法を提案する。事前学習済みのWide ResNetを特徴抽出器として用い、ラベルなしデータ上でSOMを事前に訓練した後、少数の例を用いてラベルを後処理で割り当てるアプローチにより、mini-ImageNetで1-shotで71.53%、5-shotで82.22%の精度を達成し、微調整を一切行わず、後処理ラベルのみを用いて最先端の性能を実現した。

ABSTRACT

Few-shot classification is a challenge in machine learning where the goal is to train a classifier using a very limited number of labeled examples. This scenario is likely to occur frequently in real life, for example when data acquisition or labeling is expensive. In this work, we consider the problem of post-labeled few-shot unsupervised learning, a classification task where representations are learned in an unsupervised fashion, to be later labeled using very few annotated examples. We argue that this problem is very likely to occur on the edge, when the embedded device directly acquires the data, and the expert needed to perform labeling cannot be prompted often. To address this problem, we consider an algorithm consisting of the concatenation of transfer learning with clustering using Self-Organizing Maps (SOMs). We introduce a TensorFlow-based implementation to speed-up the process in multi-core CPUs and GPUs. Finally, we demonstrate the effectiveness of the method using standard off-the-shelf few-shot classification benchmarks.

研究の動機と目的

• ラベル付けが高コストで稀なエッジAIシステムにおける少数-shot分類の課題に対処すること。
• トレーニング中にラベルデータを一切使用せずに堅牢な表現を学習し、ラベルを後処理段階に留保する手法を開発すること。
• ハードウェアに優しいSOMとGPUアクセラレーションを活用することで、組み込みデバイス上で効率的かつ低遅延な推論を可能にすること。
• 無教師学習によるSOMクラスタリングと後処理ラベル付きプロトタイプが、教師あり少数-shotベースラインと同等またはそれを上回ることを実証すること。

提案手法

• 転移学習のための汎用的特徴抽出器として、事前学習済みのWide ResNet（WRN）を用いる。
• ターゲットデータのラベルなしデータ上でSOMを訓練し、特徴空間におけるクラスタプロトタイプを学習する。
• 各クラスごとに少数のアノテート済みサンプルのみを用いて、SOMニューロンへのクラスラベルをトレーニング後に割り当てる。
• 転移学習における汎化性能の向上を図るため、SOM計算における距離測定をユークリッド距離からコサイン距離に置き換える。
• GPU対応のTensorFlow実装により、トレーニングおよび推論の高速化を実現する。
• 2段階パイプラインを採用：無教師学習によるSOMトレーニングの後、最小限の監視情報を用いてラベルを割り当てる。

実験結果

リサーチクエスチョン

• RQ1 微調整を一切行わず、後処理ラベル付きプロトタイプを用いた無教師学習SOMクラスタリングは、競争力のある少数-shot分類精度を達成できるか？
• RQ2 距離測定法の選択（ユークリッド距離対コサイン距離）が、少数のラベルを用いた転移学習における性能に与える影響はいかほどか？
• RQ3 少数のラベル例が不足する状況において、ラベルなしデータがどれほど補完的役割を果たせるか？
• RQ4 リアルタイムのエッジデプロイを想定したSOMトレーニングにおいて、GPUアクセラレーションによってどれほどの高速化が達成できるか？

主な発見

• 提案手法は、1-shotのmini-ImageNetベンチマークで71.53%の精度を達成し、無教師手法の中で2位の順位を獲得した。
• 5-shotでは82.22%の精度に達し、既存のアプローチの中でも上位3つ以内に位置した。
• ユークリッド距離からコサイン距離に切り替えることで、ショット設定のすべてで4.68%～5.9%の精度向上が確認された。
• 本手法は、ラベルなしデータが限られたラベルデータを補完できることを示した。例えば、[s=3, Q=250]は[s=5, Q=25]と同等の性能を達成した。
• GPUアクセラレートされたTensorFlow実装により、CPU単体実行に比べて約100倍の高速化が達成された。
• s=1の場合、25ニューロンのSOMが最適な性能を示し、より大きなマップは最小限のラベル条件下で収束を妨げる可能性があることが示唆された。