[논문 리뷰] Discovering the Rationale of Decisions: Experiments on Aligning Learning and Reasoning

Cor Steging, Silja Renooij외 1명|arXiv (Cornell University)|2021. 05. 14.

Artificial Intelligence in Law참고 문헌 27인용 수 8

한 줄 요약

이 논문은 전문가가 설계한 테스트 데이터셋을 사용하여 블랙박스 기계학습 모델의 추론 발견을 평가하고 향상시키는 모델에 종속되지 않는 방법을 제안한다. 높은 정확도가 올바른 추론 학습을 의미하지는 않으며, 맞춤형 훈련 데이터는 복잡한 법적 도메인, 특히 예외가 존재하는 영역에서도 추론 일치도를 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

In AI and law, systems that are designed for decision support should be explainable when pursuing justice. In order for these systems to be fair and responsible, they should make correct decisions and make them using a sound and transparent rationale. In this paper, we introduce a knowledge-driven method for model-agnostic rationale evaluation using dedicated test cases, similar to unit-testing in professional software development. We apply this new method in a set of machine learning experiments aimed at extracting known knowledge structures from artificial datasets from fictional and non-fictional legal settings. We show that our method allows us to analyze the rationale of black-box machine learning systems by assessing which rationale elements are learned or not. Furthermore, we show that the rationale can be adjusted using tailor-made training data based on the results of the rationale evaluation.

연구 동기 및 목표

• 블랙박스 기계학습 모델의 설명 가능성 격차를 보완하기 위해.
• 모델이 높은 정확도를 달성하는 것 외에도 올바른 결정 추론을 학습하고 있는지 평가하는 방법을 개발하기 위해.
• 추론 평가 기반으로 훈련 데이터를 조정함으로써 모델 성능을 향상시킬 수 있음을 보여주기 위해.
• 허구적, 단순화된, 실제 법적 도메인을 포함한 네덜란드 손해배상법을 포함한 다양한 도메인에서 방법을 검증하기 위해.

제안 방법

• 소프트웨어 개발의 단위 테스트를 영감으로 받아, 추론의 특정 지식 요소를 타겟으로 한 전용 테스트 데이터셋(유형 B)을 설계한다.
• 기본 논리 규칙이 알려진 인공 데이터셋에서 훈련된 표준 기계학습 모델(예: 다층 퍼셉트론)을 사용한다.
• 일반 테스트 세트 외에도 추론 전용 테스트 세트를 사용하여 학습된 조건의 부정확성 여부를 검출한다.
• 추론 평가 결과를 바탕으로 훈련 데이터 분포를 조정하여 특정 추론 요소의 학습을 향상시킨다.
• 정량적 정확도 지표와 전용 테스트 케이스에서 모델 출력의 정성적 분석을 조합하여 추론 발견을 평가한다.
• 도메인 지식과 가능하면 베이지안 네트워크를 활용하여 테스트 세트 구성에 대한 운영화를 수행한다.

실험 결과

연구 질문

• RQ1 현대 신경망은 높은 정확도를 달성하고 있음에도 불구하고, 법적 도메인에서 결정의 전체 추론을 학습할 수 있는가?
• RQ2 블랙박스 모델은 전체 정확도가 높음에도 불구하고 특정 결정 추론 조건을 얼마나 잘못 학습하는가?
• RQ3 전문가 지식과 추론 평가 기반으로 훈련 데이터를 맞춤화함으로써 추론 발견을 향상시킬 수 있는가?
• RQ4 제안된 방법은 허구적 및 실제 법적 도메인 모두에서 추론 부정확성을 탐지할 수 있는가?

주요 결과

• 신경망은 허구적 복지수당 도메인에서 표준 테스트 세트에서 98% 이상의 정확도를 달성했지만, 추론의 핵심 조건인 C₁과 C₆를 학습하지 못했다.
• 더 큰 훈련 데이터셋을 사용해도 동일한 C₁과 C₆ 학습 실패 현상이 지속되어, 이는 데이터 부족 때문이 아님을 시사한다.
• 추론 평가 기반으로 훈련 데이터의 가중치를 재조정함으로써, 신경망은 C₁과 C₆의 학습을 크게 향상시켰고, 동시에 높은 정확도를 유지했다.
• 도메인의 단순화된 버전에서는 신경망이 C₁과 C₆를 더 효과적으로 학습했지만, 완벽한 것은 아니었으며, 이는 복잡성이 추론 발견에 영향을 준다는 것을 보여준다.
• 실제 네덜란드 손해배상법 도메인에서는 일반 테스트 세트에서 99%의 정확도를 기록했음에도 불구하고, 기여도의 독립적 조건을 학습하지 못했다.
• 제안된 추론 평가 방법은 추론 부정확성을 성공적으로 탐지하였고, 모델의 투명성과 정확성을 향상시키기 위한 타겟팅된 데이터 조정을 가능하게 하였다.