[論文レビュー] Efficient Learning with Partially Observed Attributes

Nicolò Cesa‐Bianchi, Shai Shalev‐Shwartz+1 more|arXiv (Cornell University)|Apr 26, 2010

Machine Learning and Algorithms参考文献 33被引用数 59

ひとこと要約

本論文では、各訓練例に対して観測可能な属性の数が限られている状況下で線形予測子を学習するための効率的なアルゴリズム、AER（ランダム化サンプリングを用いた能動的探索）を提案する。ランダム化サンプリングにより属性を能動的に選択してノイズを含む推定値を構築することで、全情報モデルに近い性能を達成している。MNIST画像においても1画像あたり4ピクセルのみを観測しても、明確な一般化性能を示しており、証明可能なサンプル複雑度の保証を有する。

ABSTRACT

We describe and analyze efficient algorithms for learning a linear predictor from examples when the learner can only view a few attributes of each training example. This is the case, for instance, in medical research, where each patient participating in the experiment is only willing to go through a small number of tests. Our analysis bounds the number of additional examples sufficient to compensate for the lack of full information on each training example. We demonstrate the efficiency of our algorithms by showing that when running on digit recognition data, they obtain a high prediction accuracy even when the learner gets to see only four pixels of each image.

研究の動機と目的

• 各訓練例に対して固定された少数の属性しか観測できない状況下で、正確な線形予測子を学習するという課題に対処すること。
• 部分的情報補完に適した、証明可能なサンプル複雑度の保証を有する効率的アルゴリズムの開発。
• 患者の協力が制限される医療診断のような現実世界のシナリオにおいて、実用的効果を示すこと。

提案手法

• アルゴリズムは、各例に対してランダム化された能動的属性選択を用い、全特徴ベクトルのノイズを含むが情報豊富な推定値を構築する。
• Pegasosアルゴリズムの修正版を適用し、推定特徴量における確率的勾配更新を通じて部分観測を処理するように適合させる。
• 推定特徴ベクトルの期待値が真の特徴ベクトルと一致することを保証し、学習プロセスにおけるバイアスを最小限に抑える。
• 濃度不等式を活用して、不完全なデータにもかかわらず一般化誤差をバインドし、有限サンプル収束を保証する。
• p-ノルムパーセプトロンやWinnowといった他の勾配ベースのアルゴリズムに対しても応用可能であることが示され、広範な適用可能性を示している。
• パラメータチューニングは10分割交差検証を用い、テストセット上で訓練データサイズを段階的に増やしながら性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 各例に対して定数個の属性しか観測できない状況下で、一般化誤差に関する明確な保証を伴う効率的線形予測子学習が可能か？
• RQ2 部分的観測下において、リッジ回帰やLassoといった全情報学習アルゴリズムと比較して、その性能はどの程度か？
• RQ3 実際の応用において、所望の予測精度に到達するのに必要な最小限の属性数はどの程度か？
• RQ4 全特徴次元に比べて観測属性数が著しく少ない状況でも、アルゴリズムが低誤差を維持できるか？
• RQ5 ランダム選択や固定選択と比較して、能動的かつランダムな属性選択は、サンプル効率性と安定性の面で優れているか？

主な発見

• AERアルゴリズムは、MNISTの数字認識において、中央値として3.5％のテスト分類誤差を達成した。これは、全情報Lasso（1.1％）およびリッジ回帰（1.3％）の誤差にわずかに劣る程度であった。
• 1画像あたり4ピクセルしか観測しない条件下でも、AERのテスト誤差（0.320）は、ランダム属性選択を用いたベースライン手法（0.815）よりも顕著に優れていた。
• AERは1例あたり784ピクセル中4ピクセルしか観測しなかったにもかかわらず、全情報Lasso（0.222のテスト誤差）と同等の性能を示した。
• アルゴリズムは急速に安定化し、ベースラインでは初期学習段階で顕著な不安定性が見られたのに対し、そのような悪条件問題を回避した。
• 観測した属性総数を基準に測定した場合、AERは全情報リッジ回帰を上回った。リッジ回帰は49,000属性を観測するためにたった62例で十分だったが、AERは同じ総数に達するまでに12,250例を必要とした。
• 理論的分析により、AERのサンプル複雑度は最適な下界のd倍以内に収束することが示され、近似的に最適性を示している。