[논문 리뷰] Explaining Black Boxes on Sequential Data using Weighted Automata

Stéphane Ayache, Rémi Eyraud외 1명|arXiv (Cornell University)|2018. 10. 12.

Machine Learning and Algorithms참고 문헌 10인용 수 17

한 줄 요약

이 논문은 훈련 데이터나 내부 표현에 접근할 필요 없이 순차적 기호 데이터에 실수 값을 할당하는 블랙박스 모델에서 가중치가 부여된 오토마타(WAs)를 추출하기 위한 스펙트럼 알고리즘을 제안한다. 블랙박스를 오라클로 간주하여 질의를 통해 WA를 추론함으로써, 모델의 행동을 높은 정밀도로 근사하는 방법을 제시하며, 작은 상태 수에서도 거의 최적의 성능을 달성한다. 이는 48개의 합성 데이터셋과 2개의 실세계 데이터셋에 대해 훈련된 RNN에서 입증되었다.

ABSTRACT

Understanding how a learned black box works is of crucial interest for the future of Machine Learning. In this paper, we pioneer the question of the global interpretability of learned black box models that assign numerical values to symbolic sequential data. To tackle that task, we propose a spectral algorithm for the extraction of weighted automata (WA) from such black boxes. This algorithm does not require the access to a dataset or to the inner representation of the black box: the inferred model can be obtained solely by querying the black box, feeding it with inputs and analyzing its outputs. Experiments using Recurrent Neural Networks (RNN) trained on a wide collection of 48 synthetic datasets and 2 real datasets show that the obtained approximation is of great quality.

연구 동기 및 목표

• 순차적 기호 데이터를 처리하는 블랙박스 모델에 대한 전역적 해석 가능성의 과제를 해결하기 위해.
• 훈련 데이터나 내부 모델 구조에 접근할 수 없이도 블랙박스에서 가중치가 부여된 오토마타(WA)를 추출하는 방법을 개발하기 위해.
• RNN과 같은 복잡한 비선형 모델을 더 단순하고 해석 가능한 WAs로 근사화할 수 있도록 하기 위해.
• 합성 및 실세계 순차 데이터셋에서 WA 추출의 품질을 평가하기 위해.
• 낮은 상태 수로도 WA 근사치가 높은 성능을 달성할 수 있음을 보여주어 해석 가능성과 효율성을 향상시키기 위해.

제안 방법

• 이 방법은 블랙박스를 오라클로 간주하여 시퀀스를 입력하고 실수 값 출력을 분석함으로써 가중치가 부여된 오토마타를 추론한다.
• 접두사 및 접미사 기저 벡터에 기반한 선형 대수적 프레임워크를 활용하여 스펙트럼 알고리즘을 사용해 WA를 추출한다.
• 입력 시퀀스에서 접두사 및 접미사 기저를 구성하고, 그 내적 곱을 사용해 전이 및 방출 가중치를 추정한다.
• 결과로 얻는 저랭크 근사의 랭크는 추출된 WA의 복잡성과 정확도를 제어한다.
• 블랙박스 함수가 기저 위에서 이차형식으로 표현될 수 있음을 활용하여 스펙트럼 분해를 가능하게 한다.
• 최종 WA는 원본 블랙박스 출력에 대한 충실도를 측정하기 위해 퍼플렉서티 또는 NDCG 점수를 최소화하도록 훈련된다.

실험 결과

연구 질문

• RQ1 훈련 데이터나 내부 구조에 접근할 수 없이도 순차적 시퀀스에서 실수 값을 할당하는 블랙박스 모델에서 가중치가 부여된 오토마타를 효과적으로 추출할 수 있는가?
• RQ2 추출된 WA는 순차적 데이터에서 순환 신경망(RNN)의 행동을 얼마나 잘 근사하는가?
• RQ3 랭크와 기저 크기가 WA 근사의 품질에 어떤 영향을 미치는가?
• RQ4 추출된 WA는 블랙박스 모델의 의사결정 과정을 의미 있는 해석 가능한 표현으로 제공할 수 있는가?
• RQ5 스펙트럼 WA 추출 방법은 원본 블랙박스 모델과 비교해 경쟁 가능한 성능을 달성하는가?

주요 결과

• 추출된 가중치가 부여된 오토마타는 RNN의 자체 엔트로피에 매우 가까운 퍼플렉서티 점수를 기록하며, 실세계 데이터셋 PAutomaC Nat. 2에서 퍼플렉서티가 1.35로 최적의 1.25에 근접한다.
• 25개의 상태조차도 거의 최적의 성능를 달성하여 낮은 복잡성에서도 강력한 일반화 능력을 보여준다.
• 기저 크기를 늘리면(예: 300에서 400으로) NDCG@5 점수가 크게 향상되어 더 큰 기저가 근사 품질을 향상시킨다는 것을 시사한다.
• 랭크가 높아질수록 WA 품질이 향상되지만, 낮은 랭크에서도 합리적인 성능가 달성되어 작고 해석 가능한 모델의 사용을 지지한다.
• 이 방법은 합성 시퀀스 생성 및 SPiCe, PAutomaC 등의 실세계 NLP 데이터셋을 포함한 다양한 작업에서 뛰어난 내성적 안정성을 보였다.
• WA 계산은 각 기호당 행렬 곱셈만으로 이루어져 RNN의 비선형 연산과는 달리 효율적인 추론을 가능하게 한다.