[논문 리뷰] Man [and Woman] vs. Machine: A Case Study in Base Noun Phrase Learning

Eric Brill, Grace Ngai|ArXiv.org|2001. 05. 02.

Natural Language Processing Techniques참고 문헌 14인용 수 4

한 줄 요약

이 논문은 수작업으로 태깅된 코퍼스에서 기초 명사구 추출 규칙을 학습하는 데 있어 인간과 기계의 성능을 비교한다. 규칙 기반 시스템과 인간 참가자를 사용한 연구에서, 기계는 저빈도 패턴에서 인간을 능가하지만, 훈련되지 않은 인간은 고빈도 패턴에서 기계에 근접한 성능(재현율 93.5% 대 93.7%)을 기록한다. 이는 효과적인 도구와 표현 언어를 통해 인간의 잠재력이 충분히 발휘될 수 있음을 시사한다.

ABSTRACT

A great deal of work has been done demonstrating the ability of machine learning algorithms to automatically extract linguistic knowledge from annotated corpora. Very little work has gone into quantifying the difference in ability at this task between a person and a machine. This paper is a first step in that direction.

연구 동기 및 목표

• 수작업으로 태깅된 코퍼스에서 언어 일반화를 추출하는 데 있어 인간과 기계의 상대적 능력을 정량화하는 것.
• 훈련되지 않은 인간이 기계 학습 알고리즘만큼 빠르고 정확하게 기초 명사구 추출을 위한 효과적인 규칙 기반 시스템을 학습할 수 있는지 조사하는 것.
• 특히 코퍼스에서 규칙을 획득하는 데 있어 인간과 기계 학습의 상호보완적 강점을 탐색하는 것.
• 수작업 방법의 알려진 약점인 저빈도 언어 패턴을 포괄하지 못하는 한계를 인간 규칙 작성자가 극복할 수 있는지 평가하는 것.
• 인간의 통찰력과 기계 학습을 융합한 하이브리드 시스템이 언어 지식 추출의 향상에 기여할 잠재력을 평가하는 것.

제안 방법

• 기준으로 사용된 램쇼와 마커스(R&M)의 변환 기반 기계 학습 시스템을 기반으로 하였으며, 펜 트리뱅크의 200만 단어를 훈련 데이터로 사용하였다.
• 단어와 품사 태그에 기반한 정규 표현식을 활용하는 인간이 읽기 쉬운 규칙 언어를 설계하였으며, 기준 명사구의 괄호화, 제거, 변환, 병합 등의 동작을 지원하였다.
• 200만 단어의 훈련 코퍼스에서 기초 명사구를 식별하기 위해 10명의 훈련되지 않은 참가자가 수작업으로 규칙을 작성하는 실험을 수행하였다.
• 테스트 셋의 재현율을 사용하여 성능을 평가하였으며, 다양한 품사 태그 조합의 빈도 대역에서 인간 규칙 세트(상위 3명)와 기계 학습 시스템 간의 성능을 비교하였다.
• 훈련 코퍼스 내 품사 태그 조합의 빈도에 따라 성능를 분석하였으며, 재현율 대 빈도 그래프를 그려 성능 격차를 확인하였다.
• 사용자 정의 시각화 도구(그림 4에 스크린샷 포함)를 활용하여 인간의 규칙 작성과 코퍼스 탐색을 지원하였다.

실험 결과

연구 질문

• RQ1 훈련되지 않은 인간이 수작업으로 태깅된 코퍼스에서 기초 명사구 추출 규칙을 기계 학습 시스템과 유사한 성능으로 학습할 수 있는가?
• RQ2 인간의 성능가 기계의 성능와 비교하여, 품사 태그 조합의 빈도 대역에 따라 어떻게 달라지는가?
• RQ3 코퍼스에서 언어 규칙을 획득할 때 인간과 기계의 학습 행동에 나타나는 주요 차이는 무엇인가?
• RQ4 인간이 저빈도 또는 희귀 언어 패턴에서 기계를 능가할 수 있는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ5 인간 규칙 작성은 어느 정도의 수준까지 코퍼스 분석 도구로 향상될 수 있으며, 이는 희귀 패턴에서 기계 학습 성능 격차를 줄일 수 있는가?

주요 결과

• 훈련 코퍼스에서 품사 태그 조합이 6번 이상 나타난 기초 명사구에 대해서는 상위 3명의 인간 참가자가 93.5%의 재현율을 기록하였고, 기계는 93.7%를 기록하여 통계적으로 유의미한 차이가 없었다.
• 저빈도 구성요소(6번 미만으로 나타남)에 대해서는 기계가 인간을 능가하여, 기계는 62.8%의 재현율을 기록한 반면, 상위 3명의 학생은 54.8%의 재현율을 기록하였다.
• 특이한 이상 현상이 발생한 것은 정확히 3번 나타난 조합에 대해였다. 기계의 재현율이 수치 시퀀스(예: "1 3/8")를 단일 명사구로 잘못 분할하면서 크게 떨어졌지만, 인간은 이 오류를 피하였다.
• 인간은 매우 저빈도 패턴을 대상으로 하는 규칙 작성에 관대하거나 능력이 부족한 반면, 기계는 수백 개의 이러한 규칙을 효율적으로 학습할 수 있었다.
• 최소한의 훈련에도 불구하고 인간 참가자들은 일반 패턴에서 높은 성능를 기록하였으며, 적절한 표현 방식과 도구를 제공받는다면 인간 규칙 작성의 정확도가 기계 수준에 도달할 수 있음을 시사한다.
• 이 연구는 기계 학습이 수작업 규칙 작성보다 본질적으로 이식성이나 효율성이 뛰어나다는 전제를 도전하며, 소규모 훈련 셋에 대해 약 40달러의 노동 비용으로 인간은 최적에 가까운 성능를 달성하였다.