[논문 리뷰] Asymptotic analysis of objectives based on fisher information in active learning

Jamshid Sourati, Murat Akçakaya외 3명|arXiv (Cornell University)|2017. 01. 01.

Machine Learning and Algorithms참고 문헌 44인용 수 13

한 줄 요약

이 논문은 주로 활성 학습에서 목적 함수로 사용되는 피셔 정보 비율(Fisher Information Ratio, FIR)에 대한 엄밀한 점점적 분석을 제공하며, 이는 로그우도비의 기대 분산을 점점적 경계로 가지는 것으로 보여준다. 이 작업은 기존의 FIR 기반 방법들을 설명하고 새로운 활성 학습 전략 개발을 이끌어내는 통합 이론적 프레임워크를 수립한다.

ABSTRACT

Obtaining labels can be costly and time-consuming. Active learning allows a learning algorithm to intelligently query samples to be labeled for a more efficient learning. Fisher information ratio (FIR) has been used as an objective for selecting queries. However, little is known about the theory behind the use of FIR for active learning. There is a gap between the underlying theory and the motivation of its usage in practice. In this paper, we attempt to fill this gap and provide a rigorous framework for analyzing existing FIR-based active learning methods. In particular, we show that FIR can be asymptotically viewed as an upper bound of the expected variance of the log-likelihood ratio. Additionally, our analysis suggests a unifying framework that not only enables us to make theoretical comparisons among the existing querying methods based on FIR, but also allows us to give insight into the development of new active learning approaches based on this objective.

연구 동기 및 목표

• 활성 학습에서 실용적으로 사용되는 피셔 정보 비율(Fisher Information Ratio, FIR)과 그 배경 동기 사이의 이론적 격차를 메우기 위해.
• 활성 학습에서 쿼리 선택 목적 함수로써 FIR에 대한 엄밀한 점점적 분석을 제공하기 위해.
• 공통 이론적 프레임워크를 통해 기존의 FIR 기반 활성 학습 방법들을 통합하기 위해.
• FIR 목적 함수에 기반한 새로운 활성 학습 알고리즘 설계를 위한 이론적 통찰을 제공하기 위해.

제안 방법

• 정규 조건 하에서 FIR와 로그우도비 기대 분산 사이의 점점적 관계를 유도하기 위해.
• 대표본 이론을 사용하여 FIR가 로그우도비 점점적 분산의 상한으로서의 역할을 분석하기 위해.
• 다양한 FIR 기반 쿼리 선택 전략을 연결하는 통합 이론적 프레임워크를 수립하기 위해.
• 점점적 전개와 정보 기하 원리를 사용하여 FIR가 활성 학습에서 원칙적인 목적 함수로 타당함을 정당화하기 위해.
• FIR와 효율적 추정 이론 간의 관계를 규명하여, 특히 매개변수 불확실성 감소의 맥락에서 연결을 수립하기 위해.

실험 결과

연구 질문

• RQ1 활성 학습에서 피셔 정보 비율(FIR)은 로그우도비의 점점적 분산과 어떻게 관련이 있는가?
• RQ2 활성 학습에서 FIR를 쿼리 선택 기준으로 사용하는 데 있어 이론적 근거는 무엇인가?
• RQ3 기존의 FIR 기반 활성 학습 방법들은 단일 이론적 프레임워크 아래 통합될 수 있는가?
• RQ4 FIR의 점점적 행동은 새로운 활성 학습 알고리즘 설계에 어떻게 기여할 수 있는가?

주요 결과

• FIR는 점점적 기준에서 로그우도비 기대 분산의 상한으로 작용하며, 이는 활성 학습에서 FIR의 사용에 대한 이론적 기초를 제공한다.
• FIR와 로그우도비 분산 간의 점점적 동치성 덕분에 기존의 FIR 기반 쿼리 전략 간의 원칙적인 비교가 가능해진다.
• 이론적 프레임워크는 FIR 기반 방법이 대량의 데이터에서 매개변수 추정 불확실성을 최소화하는 것을 목표로 한다는 점을 드러낸다.
• 분석 결과는 FIR가 활성 학습에서 쿼리 선택 목적 함수로 안정적이고 이론적으로 타당한 선택임을 뒷받침한다.