[論文レビュー] Interpretability of the Intent Detection Problem: A New Approach

Eduardo Sanchez-Karhunen, Jose F. Quesada-Moreno+1 more|arXiv (Cornell University)|Jan 23, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

この論文はダイナミカルシステムの視点を用いて、SNIPSとATISの意図検出に対するRNNを分析し、SNIPSでは低次元の状態空間幾何が現れ、ATISでは不均衡によってそれが歪み、読み出しと幾何のデカップリングフレームワークを示す。

ABSTRACT

Intent detection, a fundamental text classification task, aims to identify and label the semantics of user queries, playing a vital role in numerous business applications. Despite the dominance of deep learning techniques in this field, the internal mechanisms enabling Recurrent Neural Networks (RNNs) to solve intent detection tasks are poorly understood. In this work, we apply dynamical systems theory to analyze how RNN architectures address this problem, using both the balanced SNIPS and the imbalanced ATIS datasets. By interpreting sentences as trajectories in the hidden state space, we first show that on the balanced SNIPS dataset, the network learns an ideal solution: the state space, constrained to a low-dimensional manifold, is partitioned into distinct clusters corresponding to each intent. The application of this framework to the imbalanced ATIS dataset then reveals how this ideal geometric solution is distorted by class imbalance, causing the clusters for low-frequency intents to degrade. Our framework decouples geometric separation from readout alignment, providing a novel, mechanistic explanation for real world performance disparities. These findings provide new insights into RNN dynamics, offering a geometric interpretation of how dataset properties directly shape a network's computational solution.

研究の動機と目的

• RNNベースの意図検出に対する解釈性の動機付けと研究。
• SNIPSとATISのためにRNNが構築する低次元の状態空間幾何を特徴づける。
• データ特性（例：クラスの不均衡）が最適な幾何的分離をどう歪めるかを説明する。
• 幾何的分離と読み出し整列をデカップリングする診断フレームワークを提案する。

提案手法

• 文をRNN隠れ状態空間の軌跡として扱う。
• 固定点を同定し、それらの周りでダイナミクスを線形化する（Hartman-Grobmanの視点）。
• 低次元部分空間でのアトラクタ多様体、吸引域、および読み出し整合性を分析する。
• embeddings + 再帰層 + 密集出力を用いた SNIPS と ATIS で vanilla RNN、LSTM、GRU を訓練する。
• TensorFlow 2 を用い、クロスエントロピー損失と Adam 最適化を用いて、精度を報告する（目標 >93%）。
• 幾何的分離と読み出し整列を対比させ、性能の格差を説明する。

Figure 1: (a) Folded representation of a Recurrent Neural Network (RNN), highlighting the recurrent connection within the architecture. (b) Unfolded representation of an RNN, explicitly showing the flow of time. At each time step $t$ , the RNN processes an input token $\mathbf{x}_{t}$ (e.g. words in

実験結果

リサーチクエスチョン

• RQ1 SNIPS と ATIS で意図検出を解くとき、RNN の状態空間はどのように組織されているか？
• RQ2 データセット構造（バランスが取れているか、不均衡か）は、幾何的解と読み出し整合性にどのように影響するか？
• RQ3 固定点のトポロジーとアトラクタダイナミクスは、実世界の意図間の性能差を説明できるか？
• RQ4 幾何的分離と読み出しをデカップリングすることで、誤分類の背後にある異なる機械的パターンを明らかにできるか？

主な発見

データセット	名称	言語	言語あたりの発話数	ドメイン	意図	スロット	最大の意図のサンプル数	最大の意図（%）	最小の意図のサンプル数	最小の意図（%）
SNIPS	1	14484	-	7	53	2100	14.5	2042	14.1
ATIS	1	5871	1	26	129	4298	73.7	1	0.02
MASSIVE	51	19521	18	60	55	1190	6.9	6	0.04

• SNIPS では、状態空間は低次元の多様体を形成し、各意図ごとに異なるクラスターが現れる。
• ATIS では、クラス不均衡が理想的な幾何的解を歪め、低頻度の意図を劣化させる。
• 読み出しは状態空間の遠くの領域と整合し、読み出し行列の行を介して予測を可能にする。
• 診断フレームワークは幾何的分離と読み出し整列をデカップリングし、性能格差を説明する4つの機械的パターンを明らかにする。
• 本研究はデータセットの特性を、ネットワークが学習する固有の幾何学と結びつけ、意図検出におけるRNNダイナミクスの機械的解釈を提供する。

Figure 2: Sequence of hidden states $\mathbf{h}_{1},\dots,\mathbf{h}_{T}$ associated with a tokenized input sentence $\mathbf{x}_{1},\dots,\mathbf{x}_{T}$ (e.g. "add … movie … playlist" ) as it is processed by an RNN. The hidden states $\mathbf{h}_{t}$ evolve in response to input tokens $\mathbf{x}_