[논문 리뷰] Measuring Conversational Productivity in Child Forensic Interviews

Victor Ardulov, Manoj Kumar외 3명|arXiv (Cornell University)|2018. 06. 08.

Language, Discourse, Communication Strategies참고 문헌 8인용 수 3

한 줄 요약

이 논문은 주제 모델링과 어휘 일치도를 활용하여 아동 성범죄 조사 인터뷰에서 대화적 생산성을 측정할 수 있는 계산적 프레임워크를 제안한다. 인터뷰 목표에 대해 아동이 얼마나 효과적으로 반응하는지 평가하기 위해 동적 인터뷰 일정을 수립하고, 응답의 일치도와 반응성에 점수를 매기는 방식으로, 기존의 단어 수 측정 방식보다 정보의 관련성을 더 잘 포착하고 연령에 따른 언어 변동성에 더 강건한 성능을 보인다.

ABSTRACT

Child Forensic Interviewing (FI) presents a challenge for effective information retrieval and decision making. The high stakes associated with the process demand that expert legal interviewers are able to effectively establish a channel of communication and elicit substantive knowledge from the child-client while minimizing potential for experiencing trauma. As a first step toward computationally modeling and producing quality spoken interviewing strategies and a generalized understanding of interview dynamics, we propose a novel methodology to computationally model effectiveness criteria, by applying summarization and topic modeling techniques to objectively measure and rank the responsiveness and conversational productivity of a child during FI. We score information retrieval by constructing an agenda to represent general topics of interest and measuring alignment with a given response and leveraging lexical entrainment for responsiveness. For comparison, we present our methods along with traditional metrics of evaluation and discuss the use of prior information for generating situational awareness.

연구 동기 및 목표

• 구술적 생산성을 평가하기 위한 객관적이고 계산 가능한 지표를 개발하여 주관적 또는 단순한 측정 방식을 넘어서는 것.
• 단어 수나 인간 코드화된 '풍부함'과 같은 전통적 측정 방식의 한계를 해결하기 위해 주제 모델링 기반 접근법을 도입하여 정보의 관련성과 인터뷰 목표와의 일치도를 평가하는 것.
• 주제 모델링을 활용해 인터뷰어의 정보 목표를 표현하는 동적 인터뷰 일정을 수립하고, 아동의 응답이 이러한 목표와 얼마나 잘 일치하는지 평가하는 것.
• 반응성과 유대감의 지표로 어휘 일치도를 활용하여 이중 상호작용에서 신뢰와 참여도를 반영하는 것.
• 인간 레이블링에 의존도를 줄이고 일관성과 정확성을 향상시키기 위해 확장 가능하고 자동화된 평가 시스템을 구축하는 것.

제안 방법

• 이전 전사본을 기반으로 주제 모델링(예: LDA 또는 트리그램 기반 모델)을 사용하여 인터뷰어가 유도하고자 하는 핵심 주제를 표현하는 동적 인터뷰 일정을 수립한다.
• TF-IDF 또는 유사 가중치를 사용하여 응답과 현재 일정 주제 간의 어휘 겹침을 측정함으로써 각 아동의 발언에 대해 '일정 일치도' 점수를 매긴다.
• 어휘 일치도를 통해 반응성을 측정한다—실시간으로 아동의 어휘가 인터뷰어의 어휘와 얼마나 유사한지 수치화함으로써 유대감과 참여도를 반영한다.
• 일정 일치도와 반응성을 가중치 β와 γ를 사용하여 조합하여 복합 생산성 점수를 도출한다.
• 세션 간 점수를 정규화하고, 가치 반복 또는 의사결정 이론 모델을 활용해 적응형 인터뷰 전략을 안내한다.
• 527건의 성범죄 인터뷰 전사본을 사용하여 모델을 검증하고, 연령, 단어 수, 인간 코드화 기준과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 주제 모델링과 어휘 일치도를 활용하여 아동 성범죄 인터뷰에서의 응답 생산성을 객관적으로 측정할 수 있는가?
• RQ2 제안된 생산성 지표는 정보의 관련성을 포착하는 데 있어 기존의 단어 수나 인간 코드화된 풍부함과 비교하여 어떻게 다른가?
• RQ3 아동의 연령에 따라 모델의 성능이 얼마나 달라지며, 언어 능력의 발달적 차이에 대해 얼마나 강건한가?
• RQ4 기반 일정 기반 프레임워크를 활용해 실시간으로 적응형 인터뷰 전략을 수립하여 정보 확보를 최적화할 수 있는가?
• RQ5 제안된 지표들이 알려진 신뢰 및 효과적인 인터뷰 지표와 얼마나 잘 상관관계를 가지는가?

주요 결과

• 일정 일치도와 반응성을 조합한 제안된 생산성 지표는 아동의 연령과 통계적으로 유의미한 상관관계를 보였지만, 단어 수보다는 약한 상관관계(r = 0.25)를 보였으며, 이는 발달에 따른 언어 변화에 덜 민감함을 시사한다.
• 일정 기반 모델은 낮은 관련성의 발언을 효과적으로 걸러내어 단어 수보다 더 흐린 신호를 생성했으며, 이는 낮은 신뢰도와 높은 변동성을 보였던 단어 수보다 더 정보가 풍부한 신호를 제공했다.
• 어휘 일치도는 반응성의 강력한 지표로 나타났으며, 이중 상호작용에서 알려진 신뢰 지표와 높은 일치도를 보였고, 이는 신뢰도 측정 지표로의 활용 가능성을 뒷받침한다.
• 모델이 트리그램 기반 주제 모델을 사용하여 우수한 성능을 달성했으며, 이는 단순한 NLP 기법조차도 고위험 성범죄 맥락에서 의미 있는 통찰을 제공할 수 있음을 시사한다.
• 복합 생산성 점수(π*)는 단어 수보다 연령대 간 일관성이 높고 분산이 적어 더 강건하고 신뢰할 수 있는 성능을 보였다.
• 이 프레임워크는 실시간 적응형 점수 산정이 가능하며, '황금 표준' 일정을 사전에 정의하는 데도 활용되어 증거 기반 인터뷰 정책 개발을 지원할 수 있다.