[논문 리뷰] Incidental Supervision: Moving beyond Supervised Learning

Dan Roth|arXiv (Cornell University)|2020. 05. 25.

Topic Modeling인용 수 30

한 줄 요약

논문은 주석 데이터의 병목을 줄이고 다양한 작업에서의 의미 학습을 확장하기 위해 약하고 환경에 내재된 감독 신호(incidental signals)로 학습하는 것을 주장하며, 세 가지 우연한 감독 패러다임을 제시하고 이를 NLP 작업에 적용한다.

ABSTRACT

Machine Learning and Inference methods have become ubiquitous in our attempt to induce more abstract representations of natural language text, visual scenes, and other messy, naturally occurring data, and support decisions that depend on it. However, learning models for these tasks is difficult partly because generating the necessary supervision signals for it is costly and does not scale. This paper describes several learning paradigms that are designed to alleviate the supervision bottleneck. It will illustrate their benefit in the context of multiple problems, all pertaining to inducing various levels of semantic representations from text.

연구 동기 및 목표

• 자연어 이해를 위한 학습에서 주석 부담을 줄일 필요성을 동기 부여한다.
• 특정 작업과 독립적으로 존재하는 우연한 감독 신호의 개념을 소개한다.
• 세 가지 우연한 감독 패러다임을 제시하고 그것들이 의미 표현과 grounding에서의 활용을 설명한다.
• 여러 약한 신호를 결합해 복잡하고 구조화된 표현을 학습할 수 있도록 하는 방법을 논의한다.

제안 방법

• 데이터에서의 우연한 단서를 활용하고, 더 간단한 모델과 지식을 통해 불완전한 주석으로 학습하며, 세계에서의 모델 행동에 의한 피드백으로 모델을 감독하는 세 가지 우연한 감독 시나리오를 설명한다.
• ESA와 같은 의미 표현 및 다국어 연결고리를 활용한 데이터 없이의 분류 및 제로/원샷 스타일 분류를 설명한다.
• 직접적인 작업별 라벨이 이용 가능하지 않을 때 우연한 신호를 사용하여 위키피케이션 및 지식 베이스에 대한 grounding을 설명한다.
• 다수의 간단한 모델에서 일관된 전역 결정을 얻기 위해 제약 주도 학습과 사후 정규화를 제안한다.
• 환경이나 교사로부터의 피드백이 실행 가능한 구조화된 의미 표현의 학습을 안내하는 반응 주도 학습 패러다임을 제시한다.

실험 결과

연구 질문

• RQ1 우연한 감독 신호를 식별하고 활용하여 작업별 주석 없이도 모델을 학습시킬 수 있는 방법은 무엇인가?
• RQ2 약한 환경 주도 피드백이 복잡한 의미 표현 및 구조화된 예측 모델의 학습을 안내할 수 있는가?
• RQ3 다중 우연 신호를 통합하여 의미 역할 라벨링과 같은 구조화된 출력 공간에서 일관된 전역 결정을 얻을 수 있는가?
• RQ4 부분 감독 없이도 경쟁력 있거나 확장 가능한 학습을 제공하는 실용적인 NLP 태스크는 무엇인가?

주요 결과

• 우연한 신호는 데이터와 환경에 존재하며 목표 작업과 연관되어 감독 신호를 제공할 수 있다.
• 데이터 없이의 표현(예: ESA) 등은 특정 작업별 라벨이 없어도 의미 분류를 가능하게 한다.
• 위키피케이션과 다국어 grounding은 직접적인 주석 없이도 우연한 감독 신호로 학습될 수 있다.
• 제약 주도 학습 및 다중 뷰 학습 프레임워크는 여러 간단한 모델을 결합하여 일관된 글로벌 예측을 생성할 수 있다.
• 반응 주도 학습은 실행 가능한 의미와 세계 피드백이 명시적 의미 표현 없이도 복잡한 의미 파서를 감독할 수 있음을 보여준다.
• 이 접근법은 텍스트 분류, 위키피케이션, 의미 파싱 등 다양한 NLP 작업에 적용 가능하며 확장성 이점이 있다.