[논문 리뷰] Sum-Product Networks for Sequence Labeling

Martin Ratajczak, Sebastian Tschiatschek외 1명|arXiv (Cornell University)|2018. 07. 06.

Biomedical Text Mining and Ontologies참고 문헌 20인용 수 6

한 줄 요약

이 논문은 순서 분류를 위한 선형 체인 조건부 확률 장치(Linear-Chain Conditional Random Fields, LC-CRFs) 내에서 깊이 있는, 미분 가능한, 효율적인 고차원 인과 요소로 Sum-Product Networks (SPNs)를 제안한다. 기존의 일차 또는 선형 고차원 인과 요소를 SPNs로 대체함으로써, 모델은 여러 입력 세그먼트와 출력 레이블 간의 복잡한 비선형 상관관계를 포착하면서도 정확하고 효율적인 추론을 가능하게 한다. 이 방법은 TIMIT 데이터셋에서 18.2%의 전화 오류율(phone error rate)을 기록하며, NHO-LC-CRFs를 포함한 이전 모델들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We consider higher-order linear-chain conditional random fields (HO-LC-CRFs) for sequence modelling, and use sum-product networks (SPNs) for representing higher-order input- and output-dependent factors. SPNs are a recently introduced class of deep models for which exact and efficient inference can be performed. By combining HO-LC-CRFs with SPNs, expressive models over both the output labels and the hidden variables are instantiated while still enabling efficient exact inference. Furthermore, the use of higher-order factors allows us to capture relations of multiple input segments and multiple output labels as often present in real-world data. These relations can not be modelled by the commonly used first-order models and higher-order models with local factors including only a single output label. We demonstrate the effectiveness of our proposed models for sequence labeling. In extensive experiments, we outperform other state-of-the-art methods in optical character recognition and achieve competitive results in phone classification.

연구 동기 및 목표

• 순서 분류 과정에서 입력 세그먼트와 출력 레이블 간의 복잡한 비선형 상관관계를 포착하지 못하는 일차 모델 및 선형 고차원 모델의 한계를 해결하기 위해.
• Sum-Product Networks (SPNs)를 고차원 입력-출력 의존적 인과 요소로 통합함으로써, 구조적 예측 모델에서 정확하고 효율적인 추론을 가능하게 하기 위해.
• 광범위하고 깊이 있는 상관관계를 모델링할 수 있는 SPNs의 효과성을 광학 문자 인식 및 전화 분류와 같은 순서 모델링 과제에서 탐색하기 위해.
• 기존 최신 기술 수준의 접근 방식, 특히 NHO-LC-CRFs와 HO-HU-CRFs와의 성능 및 일반화 능력 측면에서 SPN 기반 모델을 비교하기 위해.

제안 방법

• 모델은 표준 국소 및 고차원 인과 요소를 SPNs로 대체함으로써 고차원 선형 체인 CRFs (HO-LC-CRFs)를 확장한다. SPNs는 정확하고 효율적인 추론이 가능한 깊이 있는 구조적 확률 모델이다.
• SPNs는 m개의 입력 세그먼트에서 n개의 출력 레이블로의 매핑을 가능하게 하는 입력 의존적 고차원 인과 요소를 표현하는 데 사용되며, 이는 복잡한 비선형 관계의 모델링을 가능하게 한다.
• SPN 아키텍처는 깊이 있는 합 및 곱 노드로 구성되며, 합 노드는 가중 혼합을 수행하고 곱 노드는 변수 간의 결합 분포를 인수 분해한다.
• 숨겨진 변수 및 출력 변수에 대한 정확한 추론을 위해 메시지 전파 기법을 사용하며, 깊이 있는 구조임에도 불구하고 정확성을 유지한다.
• 과적합을 줄이기 위해 입력에 무관한 스parser 이항 및 삼항 인과 요소를 사용하고, 기울기 기반 최적화를 통해 엔드 투 엔드로 모델을 학습시킨다.
• 비교를 위해, 동일한 프레임워크(HO-HU-CRFs) 내에서 SPNs의 대안으로 분류적 제한된 볼츠만 기계(Restricted Boltzmann Machines, RBMs)를 평가한다.

실험 결과

연구 질문

• RQ1 SPNs는 순서 분류 과정에서 입력 세그먼트와 출력 레이블 간의 비선형적이고 고차원적인 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 HO-LC-CRFs에 SPNs를 통합함으로써 정확하고 효율적인 추론을 유지하면서도 높은 모델 표현력을 확보할 수 있는가?
• RQ3 SPN 기반 HO-LC-CRFs의 성능은 순서 분류 벤치마크에서 NHO-LC-CRFs 및 HO-HU-CRFs와 같은 최신 기술 수준의 모델들과 비교해 어떻게 되는가?
• RQ4 SPNs는 순서 모델에서 표준 MLP 기반 고차원 인과 요소에 비해 과적합을 얼마나 줄이는가?

주요 결과

• SPN-HO-LC-CRF 모델은 TIMIT 데이터셋에서 18.2%의 전화 오류율(PER)을 기록하며, 모든 일차 모델을 능가하고 최신 기술 수준의 방법들과 동등하거나 슈퍼어리어하다.
• 성능이 가장 뛰어난 SPN-HO-LC-CRF 설정은 세 개의 은닉층, 각 합 노드당 두 개의 곱 노드, 세 개의 은닉 상태를 사용하여 18.2% PER을 달성했다.
• HO-HU-CRF 모델은 略으로 더 뛰어난 성능을 보였으며 17.8% PER을 기록했지만, SPN-HO-LC-CRFs는 경쟁력 있는 성능을 유지하면서 정확한 추론의 이점을 제공한다.
• 입력 의존적 인과 요소가 m=n=1 및 m=n=2일 경우, 첫 번째 차수의 SPN-LC-CRFs 및 GMM-LC-CRFs, CNFs와 같은 다른 기준 모델들을 초월하여 더 뛰어난 성능을 보였다.
• 입력에 무관한 스parse 이항 및 삼항 인과 요소의 사용은 특히 고차원 입력 의존적 인과 요소를 사용할 경우 과적합을 줄이는 데 기여했다.
• 실험 결과, SPN 레이어에서 합산 연산을 사용하는 것이 최대 연산자(max operators)로 대체하는 것보다 略으로 성능이 뛰어났으며, 테스트 오류율은 각각 19.6%와 19.7%였고, 최대 연산자 사용 시 19.9%였다.