[논문 리뷰] Machine Learning with World Knowledge: The Position and Survey

Yangqiu Song, Dan Roth|arXiv (Cornell University)|2017. 05. 08.

Topic Modeling참고 문헌 196인용 수 9

한 줄 요약

이 논문은 일반 목적의 세계 지식—지식 기반 및 일반 지식 자원과 같은 것들을 활용하여 기계 학습을 향상시키고자 한다. 이는 특징 표현을 개선하고 레이블링 노력과 비용을 줄이며, 새로운 학습 철학을 가능하게 한다. 이 논문은 세계 지식을 명시적 및 암묵적 특징 공학, 실체 연결 및 의미 분석과 같은 추론 작업, 그리고 원거리 감독 및 자기 지도 학습과 같은 학습 철학을 통합하는 통합된 프레임워크를 제안하며, 고비용의 인간 레이블링 데이터에 대한 의존도를 크게 줄인다.

ABSTRACT

Machine learning has become pervasive in multiple domains, impacting a wide variety of applications, such as knowledge discovery and data mining, natural language processing, information retrieval, computer vision, social and health informatics, ubiquitous computing, etc. Two essential problems of machine learning are how to generate features and how to acquire labels for machines to learn. Particularly, labeling large amount of data for each domain-specific problem can be very time consuming and costly. It has become a key obstacle in making learning protocols realistic in applications. In this paper, we will discuss how to use the existing general-purpose world knowledge to enhance machine learning processes, by enriching the features or reducing the labeling work. We start from the comparison of world knowledge with domain-specific knowledge, and then introduce three key problems in using world knowledge in learning processes, i.e., explicit and implicit feature representation, inference for knowledge linking and disambiguation, and learning with direct or indirect supervision. Finally we discuss the future directions of this research topic.

연구 동기 및 목표

• 도메인 특화 기계 학습 응용 분야에서 대규모 데이터셋을 레이블링하는 데 드는 높은 비용과 노력 문제를 해결하기 위해.
• 특징 공학 및 감독을 위해 일반 목적의 세계 지식을 활용하여 도메인 특화 지식에 대한 의존도를 줄이기 위해.
• 기계 학습 파이프라인의 표현, 추론, 학습 단계 전반에 걸쳐 세계 지식의 사용을 통합하고 체계화하기 위해.
• 인지적 추론, 다국어 편향, 공동 추론-학습 프레임워크와의 통합에서 발생하는 열린 과제를 규명하기 위해.

제안 방법

• 세 가지 핵심 구성 요소로 세계 지식 사용을 분류: 표현(명시적 동종/이종 특징, 암묵적 특징), 추론(실체 연결 및 의미 분석), 학습(원거리 감독 및 자기 지도 학습과 같은 철학).
• 텍스트를 Freebase 및 Yago와 같은 지식 기반과의 정렬을 통해 명시적 의미 분석(ESA)과 확률적 개념화를 사용하여 표현하기.
• 의미 모호성을 해결하고 자유 텍스트를 구조화된 지식 기반에 연결하기 위해 국소적 및 전역적 추론 기법을 사용하여 실체 연결 및 의미 분석을 수행하기.
• 레이블링 데이터에 대한 의존도를 줄이기 위해 소스 없는 전이 학습 및 의미 감독을 통한 데이터 없는 분류와 같은 학습 철학을 도입하기.
• 세계 지식을 강화한 표현 학습을 위해 생성 모델(예: LDA 기반)과 구분 모델(예: 계층적 분류)을 활용하기.
• 지식 정렬과 모델 훈련을 동시에 최적화함으로써 성능 향상을 도모하기 위해 공동 추론 및 학습 프레임워크를 제안하기.

실험 결과

연구 질문

• RQ1 어떻게 세계 지식을 활용하여 감독 기반 기계 학습에서 레이블링 비용을 효과적으로 줄일 수 있는가?
• RQ2 기계 학습 모델에 세계 지식을 특징으로 표현하는 데 가장 효과적인 방법은 무엇인가?
• RQ3 실체 연결 및 의미 분석과 같은 추론 기법은 어떻게 최적화되어야 하며, 비정형 텍스트를 구조화된 지식 기반에 정확하게 연결할 수 있는가?
• RQ4 세계 지식이 가능하게 하는 학습 철학은 무엇이며, 전통적인 감독 또는 준감독 학습과 비교해 볼 때 어떻게 다른가?
• RQ5 통합된 학습 프레임워크에서 세계 지식은 인지 과정과 다국어/다문화 편향과 어떻게 통합될 수 있는가?

주요 결과

• 세계 지식은 지식 기반 관계를 통해 간접적 또는 원거리 감독을 가능하게 하여 고비용의 인간 레이블링 레이블이 필요한 양을 크게 줄인다.
• 의미 분석(예: ESA)과 확률적 개념화를 사용한 명시적 특징 표현은 데이터 없는 분류와 같은 특정 작업에서 전통적 방법보다 우수한 성능을 보인다.
• 실체 연결 및 의미 분석은 텍스트 언급을 지식 기반 엔티티에 정확하게 연결함으로써 문서 클러스터링 및 토픽 모델링과 같은 후행 NLP 작업을 향상시킨다.
• 레이블링 데이터가 부족한 상황에서 자기 지도 학습 및 소스 없는 전이 학습과 같은 학습 철학은 세계 지식이 강화된 상태에서 실용적인 대안이 될 수 있다.
• 공동 추론 및 학습 프레임워크는 성능 향상 잠재력을 보이지만 여전히 계산 비용이 높고 향후 최적화가 필요하다.
• 일반 지식 획득은 여전히 주요 열린 과제이며, 현재의 세계 지식 기반은 언어 및 문화 간에 불완전하고 편향되어 있다.