[논문 리뷰] Expoiting Syntactic Structure for Language Modeling

Ciprian Chelba, Frederick Jelinek|ArXiv.org|1998. 11. 12.

Natural Language Processing Techniques참고 문헌 5인용 수 123

한 줄 요약

이 논문은 장거리 의존성을 포착하기 위해 구문 분석 구조를 점진적으로 구축하는 좌측에서 우측으로 진행되는 인자화된 언어 모델을 제안한다. 표준 삼중어 모델에 비해 헤드워드가 표시된 이진 구문 트리를 통합함으로써 성능을 향상시켰다. 재추정과 삼중어 모델과의 내삽을 통해 테스트 퍼플렉서티 158.28(11% 상대 감소)을 달성하였으며, 이는 문법적 구조가 언어 모델링에 있어 가치가 있음을 보여준다.

ABSTRACT

The paper presents a language model that develops syntactic structure and uses it to extract meaningful information from the word history, thus enabling the use of long distance dependencies. The model assigns probability to every joint sequence of words--binary-parse-structure with headword annotation and operates in a left-to-right manner --- therefore usable for automatic speech recognition. The model, its probabilistic parameterization, and a set of experiments meant to evaluate its predictive power are presented; an improvement over standard trigram modeling is achieved.

연구 동기 및 목표

• n-그램의 범위를 초월하여 장거리 의존성을 모델링하기 위해 문법적 구조를 사용하는 언어 모델을 개발하는 것.
• 자동 음성 인식 및 레이티스 복원과의 호환성을 확보하기 위해 좌측에서 우측으로 처리할 수 있도록 하는 것.
• 계산 비용이 과도한 이전 방법의 한계를 극복하기 위해 단어와 구문 구조 확률을 함께 추정하는 인자화된 모델을 만드는 것.
• 펜 트리뱅크 데이터를 활용해 언어 모델의 예측 능력을 음성 인식 작업에서 평가하는 것.

제안 방법

• 모델는 좌측에서 우측으로 이진, 헤드워드가 표시된 구문 트리를 점진적으로 구성하며, 다음 단어의 예측자로 노출된 헤드를 유지한다.
• 세 모듈로 구성된 파이프라인(WORD-PREDICTOR, TAGGER, PARSER)을 사용하여, 구문 구조를 확장하는 전이(단일, 왼쪽 부착, 오른쪽 부착)를 생성한다.
• PARSER 모듈은 가장 최근에 노출된 헤드를 기반으로 전이를 적용하여, 헤드워드 및 비종단어 레이블 할당이 가능한 모든 유효한 이진 구문 구조를 생성한다.
• 모델는 단어 시퀀스와 그들의 문법적 구조를 함께 모델링하는 인자화된 접근 방식을 사용하여 공동 확률 추정을 가능하게 한다.
• 비이진 구성요소의 이진화는 비종단어 레이블에 기반한 고정 규칙을 사용하며, 중간 노드는 애초의 변형(Prime)으로 레이블이 지정된다.
• 100만 단어의 훈련 데이터를 대상으로 로그 확률 임계값과 스택 깊이 제어를 통한 파rameter 재추정을 수행한 후, 삼중어 모델과의 내삽을 실시한다.

실험 결과

연구 질문

• RQ1 n-그램의 범위를 초월하여 장거리 의존성을 효과적으로 모델링하기 위해 문법적 구조를 활용할 수 있는가?
• RQ2 좌측에서 우측으로 진행되는 점진적 구문 분석 전략은 음성 인식 시스템과의 호환성을 유지하면서 언어 모델 성능을 향상시키는가?
• RQ3 과도한 계산 비용 없이 단어와 문법적 구조 확률을 함께 추정하는 인자화된 모델을 구현할 수 있는가?
• RQ4 표준 n-그램 모델 대비 문법적 구조의 포함 여부가 퍼플렉서티에 어떤 영향을 미치는가?
• RQ5 파rameter 재추정과 내삽을 통해 미리 보지 않은 테스트 데이터에서 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 모델는 세 번의 재추정 반복 후 테스트 세트 퍼플렉서티 158.28을 달성하였으며, 기준 삼중어 모델의 167.14 퍼플렉서티보다 통계적으로 유의미한 향상이 이루어졌다.
• λ=0.36의 가중치를 사용한 삼중어 모델과의 선형 내삽으로 테스트 퍼플렉서티가 148.90으로 감소하여 11% 상대 감소를 달성하였다.
• 개발 세트 퍼플렉서티(21.26)는 테스트 세트(158.28)보다 유의미하게 낮았으며, 이는 훈련 데이터로부터 강력한 초기 파rameter 설정이 이루어졌음을 시사한다.
• 모델의 좌측에서 우측으로 진행되는 구문 분석 메커니즋试는 워드 레이티스 복원을 가능하게 하여 자동 음성 인식 시스템에 통합하기에 적합하다.
• 제한된 100만 단어 코퍼스에서의 파rameter 재추정에도 불구하고 측정 가능한 성능 향상이 있었으며, 이는 모델이 대규모 훈련에 적합한 잠재력을 지닌다는 것을 시사한다.
• 노출된 헤드워드와 문법적 구조 필터링의 사용은 장거리 의존성을 효과적으로 포착하였으며, 예를 들어 'ended'를 바탕으로 'after'를 예측하는 것과 같은 사례에서 유의미한 성능 향상을 보였다.