[論文レビュー] A Quest for Structure: Jointly Learning the Graph Structure and Semi-Supervised Classification

Xuan Wu, Lingxiao Zhao+1 more|arXiv (Cornell University)|Sep 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 7

ひとこと要約

本稿では、勾配ベース最適化と動的リソース割り当て戦略を用いて次元別に適応的に調整されるRBF帯域幅を最適化することで、グラフ構造とスパースな教師あり分類を同時に最適化する並列グラフ学習フレームワーク、PG-learnを提案する。固定時間予算内において高次元でノイズの多いデータセットにおいて、既存手法を著しく上回る精度を達成し、頑健性とスケーラビリティを示している。

ABSTRACT

Semi-supervised learning (SSL) is effectively used for numerous classification problems, thanks to its ability to make use of abundant unlabeled data. The main assumption of various SSL algorithms is that the nearby points on the data manifold are likely to share a label. Graph-based SSL constructs a graph from point-cloud data as an approximation to the underlying manifold, followed by label inference. It is no surprise that the quality of the constructed graph in capturing the essential structure of the data is critical to the accuracy of the subsequent inference step [6]. How should one construct a graph from the input point-cloud data for graph-based SSL? In this work we introduce a new, parallel graph learning framework (called PG-learn) for the graph construction step of SSL. Our solution has two main ingredients: (1) a gradient-based optimization of the edge weights (more specifically, different kernel bandwidths in each dimension) based on a validation loss function, and (2) a parallel hyperparameter search algorithm with an adaptive resource allocation scheme. In essence, (1) allows us to search around a (random) initial hyperparameter configuration for a better one with lower validation loss. Since the search space of hyperparameters is huge for high-dimensional problems, (2) empowers our gradient-based search to go through as many different initial configurations as possible, where runs for relatively unpromising starting configurations are terminated early to allocate the time for others. As such, PG-learn is a carefully-designed hybrid of random and adaptive search. Through experiments on multi-class classification problems, we show that PG-learn significantly outperforms a variety of existing graph construction schemes in accuracy (per fixed time budget for hyperparameter tuning), and scales more effectively to high dimensional problems.

研究の動機と目的

• スパースな教師あり学習（SSL）におけるグラフ構造学習という、重要ではあるが未だ十分に検討されていない課題に取り組むこと。劣悪なグラフ構築は分類性能を著しく低下させる。
• ラベル付きデータを活用してグラフ構築をガイドするスケーラブルでタスク指向のアプローチを開発すること。固定帯域幅を用いたRBFのようなデフォルトの類似度測定に依存するのではなく。
• 高次元データにおけるハイパーパramータの探索空間が膨大であるという課題を、勾配ベース最適化と適応的で並列なハイパーパramータサーチを組み合わせることで克服すること。
• 有望な設定にリソースを動的に割り当てることで、効率的かつ効果的なハイパーパramータチューニングを可能とし、精度とスケーラビリティの両方を向上させること。
• 次元別に帯域幅を学習することで、モデルの柔軟性と頑健性が向上し、特にノイズの多い特徴が存在する状況で顕著であることを示すこと。

提案手法

• PG-learnは、次元別に適応的に調整されるRBF帯域幅（σ₁:d）を勾配ベース最適化することで、検証損失関数を最小化し、データ多様体構造に適合する柔軟なエッジ重み付けを実現する。
• 各次元の重みをパrameter化した学習による順序付けの目的関数を導入し、勾配降下法を繰り返し適用することで、下流のSSLのためのグラフ品質を向上させる。
• 不適切とされる設定は相対的性能に基づいて早期に終了される並列ハイパーパramータサーチを採用する。これにより、有望な設定にリソースを集中できる。
• 探索解像度を時間経過とともに改善する適応的リソース割り当て方式を採用し、収束が速いか検証精度が優れている設定を優先する。
• ランダムサーチと適応的サーチ戦略を統合したハイブリッドアプローチを採用し、高次元設定における膨大なハイパーパラメータ空間を効率的に探索する。
• PG-learnは次元数とサンプル数の両方でスケーラブルであり、メモリと実行時間のオーバーヘッドが低いため、大規模なSSLタスクに適している。

実験結果

リサーチクエスチョン

• RQ1 グラフ構造とスパースな教師あり分類の共同最適化は、標準的なグラフ構築手法と比較して分類精度を向上させることができるか？
• RQ2 高次元でノイズの多いデータセットにおいて、次元別に学習されたRBF帯域幅は性能にどのように影響を与えるか？
• RQ3 勾配ベース最適化と適応的リソース割り当てを組み合わせたハイブリッドサーチ戦略は、従来のグリッドサーチやランダムサーチに比べ、グラフ学習のハイパーパラメータチューニングで優れた性能を発揮するか？
• RQ4 多数のノイズ特徴がデータに組み込まれた場合、PG-learnは高い精度をどの程度維持できるか？
• RQ5 PG-learnの動的リソース割り当ては、固定時間または均一なサーチ戦略と比較して、効率性とスケーラビリティをどの程度向上させるか？

主な発見

• PG-learnは、100％のノイズ特徴を追加したすべてのデータセットで、すべてのベースライン（MinEnt、Grid、Rand d）を著しく上回るテスト精度を達成し、ペアワイズWilcoxon符号順位検定でp < 0.01を達成した。
• COILデータセットでは、15分の時間予算内にPG-learnは90.44％のテスト精度を達成し、MinEnt（81.97％）、Grid（63.11％）、Rand d（69.54％）を上回った。
• MNISTデータセットでは、高次元性とノイズの影響にもかかわらず、PG-learnは86.34％のテスト精度に到達し、MinEnt（80.06％）、Grid（79.32％）、Rand d（66.68％）を著しく上回った。
• Yaleデータセット（n=320、d≈2K）では、PG-learnは68.59％の精度を維持し、MinEnt（56.71％）、Grid（59.25％）、Rand d（52.98％）を顕著に上回り、少数のサンプルと高ノイズに強いことを示した。
• PG-learnの検証精度とテスト精度は、32スレッドで時間経過とともに着実に向上するが、GridとRand dは平坦または徐々に悪化する誤差曲線を示しており、収束性とサーチ効率に優れていることがわかる。
• 図6は、PG-learnが組み込まれたノイズ特徴（d+1:2d）に対して顕著に低い重みを割り当てていることを確認しており、特徴の重要度を学習し、関係のない次元を除外できる能力を示している。