[논문 리뷰] Combining Prediction and Interpretation in Decision Trees (PrInDT) -- a Linguistic Example

Claus Weihs, Sarah Buschfeld|arXiv (Cornell University)|2021. 03. 03.

Natural Language Processing Techniques참고 문헌 5인용 수 5

한 줄 요약

이 논문은 언어학적 데이터 분석을 위한 의사결정트리에서 예측 정확도와 해석 가능성(해석 가능성)을 동시에 확보하는 새로운 통계적 방법인 PrInDT를 소개한다. 조건부 추론 트리와 리샘플링 기법(특히 언더샘플링)을 통합함으로써, 어린이 제1언어 영어에서 주격형 명사구의 실현(빈도수 없는 vs. 실현된)에 대해 강력하고 언어학적으로 의미 있는 규칙를 도출하였으며, 예측 성능(AUC 최대 0.85)과 높은 해석 가능성(3,941개 리샘플링 트리 전역에서)을 달성하였다.

ABSTRACT

In this paper, we show that conditional inference trees and ensembles are suitable methods for modeling linguistic variation. As against earlier linguistic applications, however, we claim that their suitability is strongly increased if we combine prediction and interpretation. To that end, we have developed a statistical method, PrInDT (Prediction and Interpretation with Decision Trees), which we introduce and discuss in the present paper.

연구 동기 및 목표

• 비표준 어휘 형태에 대해 낮은 토큰 빈도와 불균형 데이터 문제를 해결하기 위한 도전 과제를 다루기.
• 예측 성능 또는 해석 가능성 중 하나만을 우선시하는 전통적 통계 모델의 한계를 극복하기.
• 언어학적 및 통계적 관점에서 동시에 모델 평가가 가능한 통합적 방법을 개발하여, 해석 가능성과 높은 예측 성능를 동시에 확보하기.
• 싱가포르와 영국의 실제 어린이 언어 데이터를 적용하여, 외부언어적 및 내부언어적 변수를 바탕으로 주격형 명사구 실현(빈도수 없는 vs. 실현된)을 모델링하기.
• 해석 가능한 트리의 앙상블이 모델의 안정성과 사회언어학적 변동의 체계적이지만 변동성이 있는 성격을 더 잘 반영함을 입증하기.

제안 방법

• 외부언어적 변수(민족성(ETH), 연령(AGE), 성별(SEX), 언어적 배경(LiBa), 평균 문장 길이(MLU))와 내부언어적 변수(PRN)를 사용하여 주격형 명사구 실현의 이항 결과(빈도수 없는지 여부)를 모델링하기 위해 조건부 추론 트리를 적용한다.
• 클래스 불균형 문제를 해결하기 위해 반복적인 무작위 언더샘플링 기반의 리샘플링 전략을 구현하며, 3,941개의 리샘플링 데이터셋을 생성하여 개별 트리를 학습시킨다.
• 각 트리의 평가 기준으로는 예측 성능(AUC 및 정확도)과 해석 가능성(분할의 명확성과 언어학적 타당성)을 사용한다.
• 해석 가능성과 예측 정확도의 병행 최적화 기반으로 세 개의 최상위 트리를 선별한다(각각 AUC > 0.85, 정확도 > 0.75).
• 최상의 트리들로부터 앙상블을 구성하여 안정성과 대표성을 향상시키며, 3,941개 트리의 앙상블은 정확도 0.690과 AUC 0.78을 달성하였다.
• 앙상블 내 예측 변수 중요도 순위를 도입하여 해석 가능성을 향상시키며, 랜덤 포레스트의 변수 중요도와 유사한 방식으로 언어학적 해석을 유도한다.

실험 결과

연구 질문

• RQ1 어린이 제1언어 영어 습득에서 주격형 명사구 실현(빈도수 없는 vs. 실현된)에 영향을 주는 주요 외부언어적 및 내부언어적 변수는 무엇인가?
• RQ2 소규모이고 불균형한 언어학적 데이터셋에서 의사결정트리 모델을 어떻게 최적화하여 동시에 높은 예측 정확도와 강력한 해석 가능성을 확보할 수 있는가?
• RQ3 의사결정트리의 앙상블은 모델의 안정성 향상과 사회언어학적 변동의 체계적이지만 변동성이 있는 성격을 얼마나 잘 반영하는가?
• RQ4 PrInDT와 같은 리샘플링 기반 방법은 영구적인 어휘 현상(예: 빈도수 없는 명사구)과 같은 저빈도 현상에서 과적합 및 오류 발견 위험을 어떻게 완화할 수 있는가?
• RQ5 언어학 이론과 이전의 경험적 연구 결과를 어떻게 모델 구축에 통합하여 예측 성능을 훼손하지 않으면서도 해석 가능성을 향상시킬 수 있는가?

주요 결과

• 세 개의 최상위 PrInDT 트리는 AUC 0.85와 정확도 0.75를 기록하여 강력한 예측 성능를 유지하면서도 해석 가능성을 확보하였다.
• 3,941개 트리의 앙상블은 정확도 0.690과 AUC 0.78를 달성하여, 개별 트리의 정확도가 낮더라도 대규모 앙상블이 모델의 안정성과 대표성을 향상시킴을 보여주었다.
• 높은 해석 가능성과 낮은 예측 성능(예: AUC < 0.6)을 동시에 가지는 트리는 오해의 소지가 있어, 두 기준을 동시에 평가할 필요성을 강조하였다.
• 앙상블은 사회언어학적 데이터의 본질적인 랜덤성과 변동성을 반영하였으며, 개인 간 및 개인 내 변동성을 유지하면서도 체계적인 패턴을 손상시키지 않았다.
• 이 방법은 연령, 민족성, 언어적 배경이 주격형 명사구 실현에 유의미한 영향을 미친다는 것을 성공적으로 규명하였으며, 싱가포르 어린이들이 더 높은 빈도수 없는 명사구 사용률을 보여, 입력 자료 기반의 변동성 가설을 지지하였다.
• 앙상블 내 예측 변수 중요도 순위는 연령과 민족성이 가장 영향력 있는 변수임을 드러내었으며, 사회언어학 연구의 이론적 기대와 일치하였다.