[논문 리뷰] Learning to Deceive Knowledge Graph Augmented Models via Targeted Perturbation

Mrigank Raman, Hansen Wang외 7명|arXiv (Cornell University)|2021. 05. 03.

Topic Modeling참고 문헌 39인용 수 7

한 줄 요약

이 논문은 강화학습 또는 히우리스틱을 사용하여 지식 그래프(KG)에 대상적인 변형을 가함으로써 지식 그래프(KG)를 보강한 신경심볼릭 모델이 속임당할 수 있음을 입증한다. 이는 하류 성능을 유지하면서도 KG의 의미론적 및 구조적 특성을 극적으로 변화시키는 방식이다. 주요 기여는 이러한 모델이 오염된 KG 입력에 취약함을 드러내어 신뢰성과 해석 가능성에 대한 의문을 제기한다는 데 있다.

ABSTRACT

Knowledge graphs (KGs) have helped neural-symbolic models improve performance on various knowledge-intensive tasks, like question answering and item recommendation. By using attention over the KG, such models can also explain which KG information was most relevant for making a given prediction. In this paper, we question whether these models are really behaving as we expect. We demonstrate that, through a reinforcement learning policy (or even simple heuristics), one can produce deceptively perturbed KGs which maintain the downstream performance of the original KG while significantly deviating from the original semantics and structure. Our findings raise doubts about KG-augmented models' ability to leverage KG information and provide plausible explanations.

연구 동기 및 목표

• KG를 보강한 모델이 진정으로 KG 정보를 활용하는지 아니면 표면적인 패턴을 악용하기만 하는지 조사하기 위해
• 이러한 모델이 의미적으로 속임당하는 KG 변형에 대해 얼마나 견고한지 평가하기 위해
• 모델 성능을 유지하면서도 구조와 의미론을 변화시키는 변형된 KG를 생성하는 방법을 개발하기 위해
• 이러한 모델의 어텐션 메커니즘이 진정으로 신뢰할 수 있는 설명을 제공하는지 아니면 쉽게 속임을 당하는지 평가하기 위해
• KG에 대한 어 attention이 진정으로 지식 활용을 반영한다는 가정을 도전하기 위해

제안 방법

• 지식 그래프에 대상적인 변형을 생성하기 위해 강화학습 정책을 훈련시켜, 모델을 오도하기 위해 간선이나 엔티티를 수정한다.
• 원래 KG의 구조와 의미론에서의 이탈을 극대화하면서도 하류 성능을 유지하기 위해 정책을 최적화한다.
• 강화학습의 간단한 대안으로 히우리스틱 기반의 변형 전략도 탐색한다.
• 변형은 추론 이전에 지식 그래프에 적용되며, 성능과 어텐션 설명을 평가하기 위해 모델 예측을 검토한다.
• 변형에 대한 반응으로 어텐션 가중치가 얼마나 이동하는지 평가하여 설명의 신뢰성 여부를 분석한다.
• 하류 작업 정확도에 기반한 보상 신호를 사용하여 변형된 KG가 모델 성능을 떨어뜨리지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 지식 그래프에 대상적인 변형을 가함으로써 KG를 보강한 모델의 성능을 유지하면서도 의미론적 및 구조적 특성을 극적으로 변화시킬 수 있는가?
• RQ2 KG를 보강한 모델의 어텐션 메커니즘은 진정으로 지식 활용을 반영하는가 아니면 쉽게 조작될 수 있는가?
• RQ3 강화학습과 히우리스틱 방법은 모델 성능을 유지하면서도 위장된 KG를 얼마나 효과적으로 생성하는가?
• RQ4 변형된 KG는 타당해 보이지만 잘못된 설명을 유도하여 모델의 해석 가능성에 악영향을 미치는가?
• RQ5 모델이 의미적 왜곡에 대해 견고함을 보인다는 것은 그가 KG 정보에 얼마나 의존하는가에 대한 시사점을 무엇을 제공하는가?

주요 결과

• 제안된 변형 방법은 지식 그래프의 구조적 및 의미론적 변화가 심각함에도 불구하고 KG를 보강한 모델의 하류 성능을 성공적으로 유지하였다.
• 모델의 어텐션 메커니즘은 자주 오도되어, 변형된 그래프에서 무관하거나 손상된 KG 사실에 높은 어텐션을 할당하였다.
• 간단한 히우리스틱 기반의 변형조차도 모델이 잘못되거나 오해의 소지가 있는 KG 정보에 기반해 정확한 예측을 내리게 할 수 있었다.
• 모델은 변형된 KG에서 높은 성능을 보였으며, 이는 모델이 KG를 의미적으로 활용하기보다는 허수의 상관관계나 구조적 패턴에 의존하고 있을 가능성을 시사한다.
• 모델이 생성한 어텐션 설명은 종종 타당해 보였지만 사실과 어긋나 있었으며, 이는 설명 가능성에 대한 우려를 제기한다.
• 결과적으로, KG를 보강한 모델가 진정으로 지식 그래프를 추론에 활용하는 것이 아니라, 데이터셋의 편향이나 구조적 패턴을 악용하고 있을 가능성이 있음을 시사한다.