[論文レビュー] Online Semi-Supervised Learning with Bandit Feedback

Sohini Upadhyay, Mikhail Yurochkin+3 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Bandit Algorithms Research参考文献 26被引用数 7

ひとこと要約

本稿では、部分的報酬（ラベルが欠落している、もしくは1/0の二値報酬のみが観測される）を扱うために、グラフ畳み込みネットワーク（GCN）と文脈バンディットを統合した、オンライン半教師あり学習のための新規アルゴリズムGCNUCBを提案する。グラフ構造を有する未ラベルデータを特徴学習に活用し、線形バンディットフレームワーク内で補完された報酬を制限することで、特にラベルスパarsityが高い状況下でも、LINUCB や ROGCN のベースラインを上回る性能を達成する。CNAE-9データセットにおいて、ラベル欠落率25％の条件下で最大77％の精度を達成した。

ABSTRACT

We formulate a new problem at the intersectionof semi-supervised learning and contextual bandits,motivated by several applications including clini-cal trials and ad recommendations. We demonstratehow Graph Convolutional Network (GCN), a semi-supervised learning approach, can be adjusted tothe new problem formulation. We also propose avariant of the linear contextual bandit with semi-supervised missing rewards imputation. We thentake the best of both approaches to develop multi-GCN embedded contextual bandit. Our algorithmsare verified on several real world datasets.

研究の動機と目的

• 真のラベルが欠落しており、1/0の二値フィードバック（1または0）しか得られない状況におけるオンライン学習の課題に対処すること。
• 特にGCNを用いた半教師あり学習技術をオンラインバンディット設定に統合し、未ラベルデータを活用して一般化性能を向上させること。
• 性能の低下を防ぐために、補完誤差を制限するように、欠落した報酬を効果的に補完する手法を開発すること。
• GCNによる表現学習の長所と、不確実性下でのオンライン意思決定に適した文脈バンディットの長所を統合すること。
• さまざまなラベル欠落率の下で実世界のデータセットに対して提案手法を評価し、その頑健性とスケーラビリティを示すこと。

提案手法

• ラベルが欠落している場合でも、未ラベルデータを通じてラベルを伝搬できるように、グラフラプラシアン正則化を用いたGCNの半教師あり拡張版であるROGCNを提案する。
• 半教師あり報酬補完と誤差の制限を組み込んだ、線形上位信頼区間（LINUCB）バンディットアルゴリズムの変種であるBILINUCBを導入する。
• 各アームの文脈をクラスに対応する二値GCNヘッドから得る、GCNベースの文脈特徴と文脈バンディットフレームワークを統合したGCNUCBを設計する。
• t-SNE可視化を用いて、学習された文脈空間と重みベクトル空間を比較し、GCNUCBがLINUCBよりもタイトで分離性の高いクラスタを学習していることを確認する。
• 不正確な補完手法（例：ランダム補完）を用いる場合でも、特にラベル欠落率が高い状況下で学習の安定性を高めるために、補完に上限を設ける。
• 可視化の焦点を文脈-重みの整合性の質に向け、探索項のα = 0に設定してgreedy評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 グラフ畳み込みネットワークは、部分的フィードバックを伴うオンライン半教師あり学習に効果的に適応可能か？
• RQ2 真のラベルが欠落している状況下で、報酬補完の上限を設けることで、文脈バンディットの頑健性はどのように向上するか？
• RQ3 GCNベースの特徴学習と文脈バンディット意思決定を統合することで、部分的報酬設定下での性能はどの程度向上するか？
• RQ4 補完が不正確な場合、特にラベルスパarsityが高い状況下で、補完上限は学習の安定性と精度にどのように影響するか？
• RQ5 グラフ構造を有する表現を用いることで、バンディットの意思決定空間におけるクラス固有の文脈の分離性は、生の特徴よりも向上するか？

主な発見

• CNAE-9データセットにおいて、ラベル欠落率25％の条件下でGCNUCBは77％の精度を達成し、LINUCB（68％）や他のベースラインを顕著に上回った。
• ラベル欠落率75％の状況下で、k-means補完を用いたBILINUCBは57.16％の精度を達成したが、ランダム補完では49.77％に低下し、補完の質と上限の重要性が浮き彫りになった。
• t-SNE可視化により、GCNUCBがタイトに固まった、クラスを識別可能な文脈を学習していることが確認され、重みベクトルが正しいラベルクラスタに一致しており、より良いアーム選択が可能であることが示された。
• 補完が不正確な場合（例：ランダム補完）、補完上限は顕著な性能向上をもたらすが、k-meansのような正確な手法を用いる場合にはほとんど改善効果がない。
• GCN由来の特徴をLINUCBフレームワークに統合した手法（GCNUCB）は、すべてのデータセットおよび欠落率レベルにおいて、標準のLINUCBおよびROGCNベースラインを一貫して上回った。
• BILINUCBは、ラベル欠落率が75％に達するような極度のラベル不足状況下でも安定した性能を維持したのに対し、標準のLINUCBは著しく性能を低下させたことから、本手法の頑健性が裏付けられた。