[논문 리뷰] Using Machine Learning to Guide Cognitive Modeling: A Case Study in Moral Reasoning

Mayank Agrawal, Joshua C. Peterson외 1명|arXiv (Cornell University)|2019. 02. 18.

Psychology of Moral and Emotional Judgment참고 문헌 29인용 수 6

한 줄 요약

이 논문은 도메인 지식이 풍부한 인과적 모델을 개발하는 데 사용할 수 있는 데이터 기반의 반복적 방법을 제안한다. 이 방법은 예측 성능이 뛰어난 블랙박스 기계학습 모델을 활용하여 도메인 특성(예: 도덕 원칙, 문제 유형 유사성 등)을 점진적으로 통합함으로써 인간이 이해할 수 있는 해석 가능한 인지 모델을 개발한다. 다양한 도덕적 딜레마에서 인간의 도덕적 판단을 예측하는 데 있어 딥 뉴럴 네트워크 수준의 정확도를 달성하면서도 해석 가능성을 유지하는 데 성공하였다.

ABSTRACT

Large-scale behavioral datasets enable researchers to use complex machine learning algorithms to better predict human behavior, yet this increased predictive power does not always lead to a better understanding of the behavior in question. In this paper, we outline a data-driven, iterative procedure that allows cognitive scientists to use machine learning to generate models that are both interpretable and accurate. We demonstrate this method in the domain of moral decision-making, where standard experimental approaches often identify relevant principles that influence human judgments, but fail to generalize these findings to "real world" situations that place these principles in conflict. The recently released Moral Machine dataset allows us to build a powerful model that can predict the outcomes of these conflicts while remaining simple enough to explain the basis behind human decisions.

연구 동기 및 목표

• 기계학습의 높은 예측 능력과 인지과학에서의 설명 가능성 간 격차를 메운다.
• 복잡한 실제 세계의 갈등에 일반화되지 못하는 전통적인 실험 연구의 한계를 극복한다.
• 성능이 뛰어난 블랙박스 알고리즘의 통찰을 활용해 인지 모델을 체계적이고 반복적으로 향상시키는 절차를 개발한다.
• Moral Machine 데이터셋을 활용해 도덕적 판단 예측에서 이 방법의 효과성을 입증한다.
• 해석 가능성과 예측 정확도 사이의 균형을 도덕적 판단 예측에서 달성한다.

제안 방법

• 대규모 행동 데이터(Moral Machine 데이터셋)를 사용해 블랙박스 기계학습 모델(예: 딥 뉴럴 네트워크)을 훈련하여 성능 기준선을 확보한다.
• 기본적인 도덕 원칙을 매개변수로 포함하는 초기 해석 가능한 인지 모델(예: 합리적 선택 모델)을 수학적으로 정의한다.
• 해석 가능한 모델의 예측과 블랙박스 모델의 예측을 비교하여 체계적인 예측 오차를 식별한다.
• 예측 오차를 분석하여 도덕적 판단의 분산을 설명할 수 있는 새로운 특성 또는 문제 유형(예: 인간 대 동물, 연령 차이 등)을 도출한다.
• 이러한 유형의 특성들을 해석 가능한 모델에 통합하고 반복적으로 성능을 평가한다.
• 해석 가능한 모델의 성능가 블랙박스 모델에 수렴할 때까지 이 과정을 반복한다.

실험 결과

연구 질문

• RQ1 기계학습 모델이 높은 예측 정확도를 유지하면서도 해석 가능한 인지 모델을 구성하는 데 유용한가?
• RQ2 복잡한 딜레마에서 인간의 도덕적 판단을 일관되게 예측하는 데 어떤 특정한 도덕 원칙과 문제 유형 특성이 존재하는가?
• RQ3 에이전트 특성(예: 연령, 종, 범죄 기록 등)의 유사성과 같은 잠재적 특성이 도덕적 판단에 어떻게 영향을 미치는가?
• RQ4 도덕 원칙을 통합한 합리적 선택 모델이 딥 뉴럴 네트워크의 성능을 어느 정도 따라올 수 있는가?
• RQ5 블랙박스 모델의 피드백를 반복적으로 활용한 개선 과정을 통해 점점 더 정확하고 해석 가능한 인지 모델을 개발할 수 있는가?

주요 결과

• 최종 해석 가능한 모델은 도덕적 판단 예측에서 77.1%의 정확도를 달성하여 딥 뉴럴 네트워크의 성능에 거의 근접하였다.
• '인간 대 동물'이나 '젊은이 대 노인'과 같은 문제 유형 특성을 통합함으로써 모델의 정확도가 크게 향상되었고 잔여 예측 오차를 설명하는 데 기여하였다.
• 작은 데이터셋 크기에서는 신경망이 초기 모델보다 성능이 뛰어났지만, 더 큰 데이터셋 크기에서는 향상된 해석 가능한 모델과 수렴함으로써 블랙박스 모델이 동일한 잠재적 특성을 학습했다는 점을 시사하였다.
• 잔여 분석 결과, 모든 인간이 범죄자일 경우 도덕 원칙이 일관되게 적용되지 않았으며, 이는 이러한 맥락을 반영하는 새로운 특성이 필요함을 시사하였다.
• 일부 딜레마(예: 남성 대 여성, 비만 대 건강한 체형)에서 '개입 여부'의 중요도가 과대평가되었으며, 이는 개입과 인구통계적 특성 간의 상호작용 항목을 포함시킬 필요가 있음을 나타내었다.
• 반복적 방법을 통해 새로운 원칙을 효과적으로 식별하고 통합함으로써, 블랙박스 모델이 인지 모델링에서 의미 있는 해석 가능한 특성을 발견하는 데 기여할 수 있음을 입증하였다.