[논문 리뷰] Learning Deterministic Weighted Automata with Queries and Counterexamples

Gail Garfinkel Weiss, Yoav Goldberg외 1명|arXiv (Cornell University)|2019. 10. 30.

Machine Learning and Algorithms인용 수 24

한 줄 요약

이 논문은 RNN과 같은 블랙박스 언어 모델에서 조건부 확률의 내성 기반 비교를 사용하는 멤버십 쿼리와 등가성 쿼리를 활용한 질의 기반 알고리즘인 WL*을 제안한다. 이 알고리즘은 확률적 결정성 유한 오토마타(PDFAs)를 학습하며, 사용자가 정의한 내성 범위 내에서 RNN의 행동을 모방하는 컴act하고 해석 가능한 결정성 모델을 생성한다. 이는 스펙트럴 방법보다 더 낮은 단어 오류율(WER)과 더 높은 NDCG 성능을 달성한다.

ABSTRACT

We present an algorithm for extraction of a probabilistic deterministic finite automaton (PDFA) from a given black-box language model, such as a recurrent neural network (RNN). The algorithm is a variant of the exact-learning algorithm L*, adapted to a probabilistic setting with noise. The key insight is the use of conditional probabilities for observations, and the introduction of a local tolerance when comparing them. When applied to RNNs, our algorithm often achieves better word error rate (WER) and normalised distributed cumulative gain (NDCG) than that achieved by spectral extraction of weighted finite automata (WFA) from the same networks. PDFAs are substantially more expressive than n-grams, and are guaranteed to be stochastic and deterministic - unlike spectrally extracted WFAs.

연구 동기 및 목표

• 학습된 RNN과 같은 블랙박스 언어 모델에서 추론 가능하고 결정성 및 확률적인 PDFAs를 추출하는 방법을 개발하는 것.
• 스펙트럴 학습과 n-gram 모델이 비국소적 의존성과 확률성 및 결정성을 확보하는 데 한계를 보이는 문제를 해결하는 것.
• 정확성 보장을 유지하면서도 목표 모델과의 지역 유사성 유지 조건 하에 추출 과정을 조기에 종료할 수 있는 '어느 시점에도 종료 가능' 기능을 제공하는 것.
• 잡음 또는 근사적인 비교에 대한 내성 범위를 허용하는 가중치가 부여된 확률적 환경으로 L* 알고리즘의 확장.
• Transformer를 포함한 모든 가중치가 부여된 유한 오토마타에 적용 가능한 일반 목적의 프레임워크 제공 — RNN에 국한되지 않음.

제안 방법

• 조건부 확률 쿼리와 내성 임계값을 도입하여 L* 알고리즘을 가중치가 부여되고 확률적인 환경에 적응시킴.
• 멤버십 쿼리를 사용해 시퀀스 접두어가 주어졌을 때 다음 토큰의 확률을 얻고, 등가성 쿼리를 사용해 가설을 목표 모델과 검증함.
• 지역 내성 $ t \in [0,1] $ 를 사용해 확률 벡터를 비교하여 유사한 상태를 병합하고 오토마타 크기를 줄임.
• 소확률 영역에서의 확률 소실 문제를 방지하기 위해 조건부 확률을 사용해 관측 표를 구성함.
• 목표 모델과의 지역 유사성 보장 하에 추출 과정을 조기에 종료할 수 있도록 anytime 종료 기능 통합.
• 비추이성(non-transitive)인 내성 기반 비교를 사용하여 관측 표에서 PDFA를 구성할 때 주의 깊은 처리 필요

실험 결과

연구 질문

• RQ1 질의 기반 학습 알고리즘이 블랙박스 RNN 언어 모델에서 확률적 결정성 유한 오토마타(PDFA)를 효과적으로 추출할 수 있는가?
• RQ2 L* 알고리즘이 잡음이 있거나 근사적인 확률 추정치를 가진 가중치가 부여된 확률적 오토마타를 다루는 데 어떻게 적응할 수 있는가?
• RQ3 내성 임계값을 도입할 경우 추출된 PDFA의 크기와 정확도에 어떤 영향을 미치는가?
• RQ4 합성 및 실제 언어 작업에서 추출된 PDFA는 스펙트럴 학습 및 n-gram 기반 모델과 비교해 WER와 NDCG 측면에서 어떻게 성능을 내는가?
• RQ5 정확성 및 지역 유사성 보장 조건을 유지하면서도 알고리즘을 조기에 종료할 수 있는가?

주요 결과

• WL*는 Tomita 문법 기반 RNN에 대해 약 1분 내에 원본 목표 모델과 동일한 구조의 PDFA를 성공적으로 재구성했으며, 완벽하거나 거의 완벽한 WER와 NDCG 성능을 달성했다.
• UHL 언어에서 WL*는 모든 세 가지 테스트 케이스에서 WER = 0.0과 NDCG = 1.0을 달성했으며, 스펙트럴 학습과 n-gram 모델을 모두 능가했다.
• UHL 1에 대해 WL*는 15초 내에 WER = 0.0, NDCG = 1.0, PDFA 크기 9를 달성했고, 스펙트럴 학습은 56초와 더 큰 모델(k=150)을 요구했다.
• UHL 2에 대해 WL*는 73초 내에 WER = 0.0, NDCG = 1.0, PDFA 크기 5를 달성했으며, n-gram(VER = 0.12, NDCG = 0.94)과 스펙트럴 학습(WER = 0.002)을 크게 능가했다.
• UHL 3에 대해 WL*는 55초 내에 WER = 0.0, NDCG = 1.0, PDFA 크기 4를 달성했고, 스펙트럴 학습은 71초와 더 큰 모델(k=17)이 필요했다.
• n-gram은 단순하고 국소적인 언어에서는 뛰어난 성능을 보였지만, 비국소적 언어에서는 실패했으며, 이는 PDFA가 장거리 의존성을 포괄하는 데서의 우수성을 보여준다.