[论文解读] Asymptotic analysis of objectives based on fisher information in active learning

Jamshid Sourati, Murat Akçakaya+3 more|arXiv (Cornell University)|Jan 1, 2017

Machine Learning and Algorithms参考文献 44被引用 13

一句话总结

本文对主动学习中作为目标函数的费雪信息比（Fisher Information Ratio, FIR）进行了严格的渐近分析，表明其渐近地界定了对数似然比的期望方差。该研究建立了一个统一的理论框架，解释了现有的基于FIR的方法，并指导了新型主动学习策略的开发。

ABSTRACT

Obtaining labels can be costly and time-consuming. Active learning allows a learning algorithm to intelligently query samples to be labeled for a more efficient learning. Fisher information ratio (FIR) has been used as an objective for selecting queries. However, little is known about the theory behind the use of FIR for active learning. There is a gap between the underlying theory and the motivation of its usage in practice. In this paper, we attempt to fill this gap and provide a rigorous framework for analyzing existing FIR-based active learning methods. In particular, we show that FIR can be asymptotically viewed as an upper bound of the expected variance of the log-likelihood ratio. Additionally, our analysis suggests a unifying framework that not only enables us to make theoretical comparisons among the existing querying methods based on FIR, but also allows us to give insight into the development of new active learning approaches based on this objective.

研究动机与目标

• 弥合主动学习中费雪信息比（FIR）的实际应用与其内在动机之间的理论鸿沟。
• 对主动学习中作为查询选择目标的FIR进行严格的渐近分析。
• 通过统一的理论框架整合现有的基于FIR的主动学习方法。
• 为基于FIR目标设计新型主动学习算法提供理论洞见。

提出的方法

• 在正则性条件下，推导FIR与对数似然比期望方差之间的渐近关系。
• 利用大样本理论，分析FIR作为对数似然比渐近方差的上界。
• 构建一个统一的理论框架，连接各种基于FIR的查询选择策略。
• 利用渐近展开和信息几何原理，证明FIR作为主动学习中合理目标的理论依据。
• 建立FIR与有效估计理论之间的联系，特别是在参数不确定性减少的背景下。

实验结果

研究问题

• RQ1 在主动学习中，费雪信息比（FIR）与对数似然比的渐近方差之间有何关系？
• RQ2 在主动学习中，使用FIR作为查询选择标准的理论依据是什么？
• RQ3 现有的基于FIR的主动学习方法能否在单一理论框架下统一？
• RQ4 FIR的渐近行为如何为新主动学习算法的设计提供指导？

主要发现

• FIR渐近地作为对数似然比期望方差的上界，为其在主动学习中的应用提供了理论依据。
• FIR与对数似然比方差之间的渐近等价性，使得能够对现有的基于FIR的查询策略进行有原则的比较。
• 该理论框架揭示，基于FIR的方法在大数据极限下旨在最小化参数估计的不确定性。
• 该分析支持将FIR作为主动学习中查询选择的稳健且理论基础坚实的优化目标。