[論文レビュー] Asymptotic analysis of objectives based on fisher information in active learning

Jamshid Sourati, Murat Akçakaya+3 more|arXiv (Cornell University)|Jan 1, 2017

Machine Learning and Algorithms参考文献 44被引用数 13

ひとこと要約

本稿は、アクティブラーニングにおける目的関数としてのフィッシャー情報比（FIR）の厳密な漸近的分析を提供し、対数尤度比の期待分散が漸近的にどのように制限されるかを示している。本研究は、既存のFIRに基づく手法を統一的に説明する理論的枠組みを確立し、新たなアクティブラーニング戦略の開発を導く。

ABSTRACT

Obtaining labels can be costly and time-consuming. Active learning allows a learning algorithm to intelligently query samples to be labeled for a more efficient learning. Fisher information ratio (FIR) has been used as an objective for selecting queries. However, little is known about the theory behind the use of FIR for active learning. There is a gap between the underlying theory and the motivation of its usage in practice. In this paper, we attempt to fill this gap and provide a rigorous framework for analyzing existing FIR-based active learning methods. In particular, we show that FIR can be asymptotically viewed as an upper bound of the expected variance of the log-likelihood ratio. Additionally, our analysis suggests a unifying framework that not only enables us to make theoretical comparisons among the existing querying methods based on FIR, but also allows us to give insight into the development of new active learning approaches based on this objective.

研究の動機と目的

• アクティブラーニングにおけるフィッシャー情報比（FIR）の実用的使用とその背後にある動機との間の理論的ギャップを埋めること。
• アクティブラーニングにおけるクエリ選択目的としてのFIRの厳密な漸近的分析を提供すること。
• 共通の理論的枠組みを通じて、既存のFIRに基づくアクティブラーニング手法を統一すること。
• FIR目的に基づく新しいアクティブラーニングアルゴリズムの設計に役立つ理論的洞察を提供すること。

提案手法

• 正則性条件下で、FIRと対数尤度比の期待分散との間の漸近的関係を導出すること。
• 大標本理論を用いて、FIRが対数尤度比の漸近的分散の上界として機能することを分析すること。
• さまざまなFIRに基づくクエリ選択戦略を結びつける統一的な理論的枠組みを構築すること。
• 漸近的展開と情報幾何的原則を用いて、FIRがアクティブラーニングにおける根拠ある目的関数として正当化されることを示すこと。
• FIRと効率的推定理論との関係を明らかにし、特にパラメータの不確実性低減の文脈で検討すること。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングにおいて、フィッシャー情報比（FIR）は対数尤度比の漸近的分散とどのように関係しているか？
• RQ2 アクティブラーニングにおけるクエリ選択基準としてFIRが使用される背後にある理論的根拠は何か？
• RQ3 既存のFIRに基づくアクティブラーニング手法は、単一の理論的枠組みの下で統一可能か？
• RQ4 FIRの漸近的挙動は、新たなアクティブラーニングアルゴリズムの設計にどのように役立つか？

主な発見

• FIRは漸近的に、対数尤度比の期待分散の上界として機能し、アクティブラーニングにおけるFIRの使用に理論的根拠を与える。
• FIRと対数尤度比分散との間の漸近的同等性により、既存のFIRに基づくクエリ戦略の間で根拠ある比較が可能になる。
• 理論的枠組みは、FIRに基づく手法が、大規模データの極限においてパラメータ推定の不確実性を最小化することを目的としていることを明らかにする。
• 本分析は、FIRがアクティブラーニングにおけるクエリ選択のための頑健で理論的に裏付けられた目的関数として使用されることを支持する。