[論文レビュー] Density-Aware Graph for Deep Semi-Supervised Visual Recognition

Suichan Li, Bin Liu+4 more|arXiv (Cornell University)|Mar 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 6

ひとこと要約

本論文は、データ密度を明示的に活用することで特徴学習と疑似ラベル生成を向上させる密度に配慮したグラフフレームワークを提案する。密度に配慮した近隣集約（DNA）モジュールと密度上昇パスに基づくラベル伝搬（DPLP）モジュールを導入することで、エンド・ツー・エンドの学習が可能となり、CIFAR-10、CIFAR-100、Mini-ImageNetで最先端の性能を達成し、従来手法に比べ顕著な精度向上を実現した。

ABSTRACT

Semi-supervised learning (SSL) has been extensively studied to improve the generalization ability of deep neural networks for visual recognition. To involve the unlabelled data, most existing SSL methods are based on common density-based cluster assumption: samples lying in the same high-density region are likely to belong to the same class, including the methods performing consistency regularization or generating pseudo-labels for the unlabelled images. Despite their impressive performance, we argue three limitations exist: 1) Though the density information is demonstrated to be an important clue, they all use it in an implicit way and have not exploited it in depth. 2) For feature learning, they often learn the feature embedding based on the single data sample and ignore the neighborhood information. 3) For label-propagation based pseudo-label generation, it is often done offline and difficult to be end-to-end trained with feature learning. Motivated by these limitations, this paper proposes to solve the SSL problem by building a novel density-aware graph, based on which the neighborhood information can be easily leveraged and the feature learning and label propagation can also be trained in an end-to-end way. Specifically, we first propose a new Density-aware Neighborhood Aggregation(DNA) module to learn more discriminative features by incorporating the neighborhood information in a density-aware manner. Then a novel Density-ascending Path based Label Propagation(DPLP) module is proposed to generate the pseudo-labels for unlabeled samples more efficiently according to the feature distribution characterized by density. Finally, the DNA module and DPLP module evolve and improve each other end-to-end.

研究の動機と目的

• 既存の半教師あり学習（SSL）手法における密度情報の未利用状態を是正すること。これらの手法は密度を暗黙的ではなく、明示的に扱うべきである。
• 単一サンプルベースの特徴集約を超えて、密度に配慮した方法で近隣情報を統合することで、特徴学習を向上させること。
• オフラインで計算コストの高い手法に代わり、オンラインで密度上昇パスに基づくスキームを採用することで、ラベル伝搬のエンド・ツー・エンド学習を可能にすること。
• 新しい密度に配慮したグラフ構造を用いて、特徴学習と疑似ラベル生成を統合的に、1つの学習可能なフレームワークに統合すること。

提案手法

• 特徴類似度と近隣密度の両方に基づいたアテンション重みを計算する密度に配慮した近隣集約（DNA）モジュールを提案。曖昧な状況では高密度近隣を優先する。
• ラベルありまたはラベルなしのサンプルから出発し、より高い密度の近隣を経由して上昇するパスを構築することで、効率的なオンラインラベル伝搬を可能にする密度上昇パスに基づくラベル伝搬（DPLP）モジュールを導入。
• k-NN検索（例：Faissを用いて）を用いて全ノードの密度を計算し、DNAおよびDPLPの両者に適した近隣関係を定義することで、グローバルな密度に配慮したグラフを構築。
• DNAとDPLPモジュールがエンド・ツー・エンドで共進化するように、共同学習戦略を設計。特徴学習と疑似ラベル生成が相互に改善されるようにする。
• 特徴類似度に基づいて終了する密度上昇パス制約を採用。これにより、パスの効率性とスケーラビリティが保証される。
• Mixupデータオーグメンテーションと標準的な深層ニューラルネットワークバックボーンを採用。提案されたモジュールを標準的なSSLパイプラインに統合。

実験結果

リサーチクエスチョン

• RQ1 データ密度の明示的モデリングが、暗黙的な密度仮定を超えて半教師あり視覚認識を向上させられるか？
• RQ2 密度に配慮した集約機構を用いることで、近隣情報が特徴学習に効果的に活用できるか？
• RQ3 大規模な線形方程式系を解く代わりに、密度上昇パスを構築することで、ラベル伝搬を効率的かつ微分可能にすることができるか？
• RQ4 特徴学習とラベル伝搬のエンド・ツー・エンド学習は、分離的またはオフライン手法に比べてより優れた性能を発揮するか？

主な発見

• 提案手法は、4,000ラベル付きサンプルを用いたCIFAR-100で38.04%の誤差率を達成し、以前の最先端手法を1.94%上回った。
• より困難なMini-ImageNetベンチマークでは、4,000ラベル付きサンプルで55.97%の精度を達成し、以前の最先端手法を14.32%上回った。
• DPLPモジュール単体でもCIFAR-100（4kラベル）で誤差率が1.54%低下し、DNAモジュール単体でも1.52%低下した。両者とも強い独立した寄与が示された。
• DNAとDPLPの組み合わせにより、CIFAR-100（4kラベル）で誤差率が38.04%まで低下し、相補的な改善効果が確認された。
• 密度上昇パスの長さ分布は主に5から25の間であり、計算オーバーヘッドが無視できるほど小さい効率的なオンライン推論が可能であることが示された。
• k-NN検索のオーバーヘッドは特徴抽出に比べて無視できるほど小さく、テスト時の効率性はベースラインと同等を維持した。