[논문 리뷰] Interpreting Embedding Models of Knowledge Bases: A Pedagogical Approach

Arthur Colombini Gusmão, Alvaro H. C. Correia외 2명|arXiv (Cornell University)|2018. 06. 20.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 학습된 임bedding에서 가중치가 부여된 히어라르키컬 룰을 추출하여 블랙박스 지식 기반 임베딩 모델을 해석하기 위해 XKE-PRED 및 XKE-TRUE라는 두 가지 교육적 방법을 제안한다. 예측을 하위그래프 특징 기반의 해석 가능한 관계 룰로 매핑함으로써, 특히 특징 추출에 진리값 레이블을 사용할 경우 높은 정확도와 충실도를 유지하면서 모델의 투명성을 향상시킨다.

ABSTRACT

Knowledge bases are employed in a variety of applications from natural language processing to semantic web search; alas, in practice their usefulness is hurt by their incompleteness. Embedding models attain state-of-the-art accuracy in knowledge base completion, but their predictions are notoriously hard to interpret. In this paper, we adapt "pedagogical approaches" (from the literature on neural networks) so as to interpret embedding models by extracting weighted Horn rules from them. We show how pedagogical approaches have to be adapted to take upon the large-scale relational aspects of knowledge bases and show experimentally their strengths and weaknesses.

연구 동기 및 목표

• 지식 기반 완성에서 최신 임베딩 모델의 낮은 해석 가능성 문제를 해결하기 위해.
• 원래 신경망을 위한 것으로 개발된 교육적 기법을 구조적이고 상징적인 출력을 갖는 관계 기반 지식 기반에 적응시키기 위해.
• 하위그래프 특징을 사용하여 임베딩 모델 예측을 설명하는 해석 가능한 가중치가 부여된 히어라키컬 룰을 생성하기 위해.
• 임베딩에서 규칙 추출 시 충실도, 정확도, 해석 가능성 간의 상호 상충 관계를 평가하기 위해.
• 임베딩 기반 지식 기반 추론을 위한 향후 방법의 기반을 마련하기 위해.

제안 방법

• 임베딩 모델의 예측에서 파생된 특징을 기반으로 해석 가능한 모델(로지스틱 회귀)을 훈련시켜 교육적 접근을 적응한다.
• 하위그래프 특징 추출(SFE)을 사용하여 지식 그래프 내 엔티티 간의 경로 유형을 나타내는 이진 특징을 생성한다.
• 각 엔티티 주변의 k개의 무작위 워크를 기반으로 특징 행렬을 구성하며, 하위그래프를 통합하여 각 (헤드, 관계, 테일) 삼중항에 대해 경로 기반 특징을 형성한다.
• 두 가지 변형을 적용한다: XKE-PRED는 임베딩 모델의 예측을 지도로 사용하고, XKE-TRUE는 진리값 레이블을 지도로 사용한다.
• 해석 가능한 모델에서 가중치가 부여된 히어라키컬 룰을 추출하며, 각 룰은 지식 그래프 내 경로와 관련된 신뢰도 점수를 갖는다.
• 기준값 기반 분류를 적용하여 삼중항 존재 여부를 판단하며, 학습된 파rameter를 활용해 인간이 읽을 수 있는 설명을 생성한다.

실험 결과

연구 질문

• RQ1 교육적 접근 방식이 관계 기반 지식 기반 내 임베딩 모델을 효과적으로 해석하는 데 적응 가능한가?
• RQ2 임베딩 모델 예측을 해석할 때 XKE-PRED와 XKE-TRUE는 충실도와 정확도 측면에서 어떻게 비교되는가?
• RQ3 규칙 추출에 있어 모델 예측과 진리값 레이블 중 어느 것을 지도로 사용할 경우가 더 유리한가?
• RQ4 추출된 가중치가 부여된 히어라키컬 룰이 복잡한 임베딩 표현으로부터 의미 있는 해석 가능한 패턴을 얼마나 잘 포착할 수 있는가?
• RQ5 특징 희소성과 경로 복잡도는 추출된 규칙의 해석 가능성과 성능에 어떤 영향을 미치는가?

주요 결과

• XKE-TRUE는 진리값 레이블을 기반으로 훈련했을 때 NELL186에서 90.41%의 정확도를 기록했으며, 일부 경우에서 임베딩 모델 자체의 정확도를 초월했다.
• XKE-PRED는 FB13에서 78.97%의 가중치 정확도를 기록했으며, 최소한 하나의 특징이 추출된 예측에 대해서는 71.88%의 정확도를 기록했다.
• XKE-TRUE는 평균적으로 XKE-PRED보다 더 높은 충실도를 보였지만, 특징 추출의 희소성으로 인해 둘 다 커버리지가 제한적이었다.
• 정성적 분석에서 XKE-TRUE는 의미적으로 유의미한 설명(예: 가족적 종교적 유대 관계)을 제공한 반면, XKE-PRED는 종종 비논리적인 규칙(예: 사망 원인과 직업 간의 연결)을 생성했다.
• 이 방법은 임베딩 모델 내부의 모순을 드러내었으며, 관련이 없는 개념 간의 비합리적인 상관관계를 발견했다.
• 해석 가능한 모델의 정확도가 블랙박스 모델의 정확도를 초월할 경우, XKE-TRUE는 예측과 설명 모두에서 선호되었으며, 이는 임베딩을 해석 가능한 모델로 대체할 수 있는 길을 제시한다.