[논문 리뷰] On Interactive Machine Learning and the Potential of Cognitive Feedback

Chris J. Michael, Dina Acklin외 1명|arXiv (Cornell University)|2020. 03. 23.

AI-based Problem Solving and Planning참고 문헌 37인용 수 4

한 줄 요약

이 논문은 인간이 참여하는 시스템을 강화하여 신뢰성, 사용성, 유연성을 향상시키는 방어 응용을 위한 상호작용 기반 기계학습(IML)을 소개한다. 인지 피드백을 통한 실시간 분석가의 인지 상태를 동적으로 기계학습 모델에 통합함으로써, 동적이고 고위험 환경에서 모델 성능과 분석가 생산성을 크게 향상시키는 세 가지 인지 피드백 방법—자기 보고, 암묵적 피드백, 모델 기반 피드백—을 제안한다.

ABSTRACT

In order to increase productivity, capability, and data exploitation, numerous defense applications are experiencing an integration of state-of-the-art machine learning and AI into their architectures. Especially for defense applications, having a human analyst in the loop is of high interest due to quality control, accountability, and complex subject matter expertise not readily automated or replicated by AI. However, many applications are suffering from a very slow transition. This may be in large part due to lack of trust, usability, and productivity, especially when adapting to unforeseen classes and changes in mission context. Interactive machine learning is a newly emerging field in which machine learning implementations are trained, optimized, evaluated, and exploited through an intuitive human-computer interface. In this paper, we introduce interactive machine learning and explain its advantages and limitations within the context of defense applications. Furthermore, we address several of the shortcomings of interactive machine learning by discussing how cognitive feedback may inform features, data, and results in the state of the art. We define the three techniques by which cognitive feedback may be employed: self reporting, implicit cognitive feedback, and modeled cognitive feedback. The advantages and disadvantages of each technique are discussed.

연구 동기 및 목표

• 모델 신뢰도가 낮고, 사용성이 떨어지며, 변화하는 임무 맥락에 적응할 수 없는 점으로 인해 방어 분야에서 기계학습의 보급 속도가 느리다는 문제를 해결한다.
• 기존 자동 기계학습(AML)의 한계를 극복하기 위해 인간 분석가를 모델 훈련 및 개선 과정에 능동적으로 참여시키는 방식을 통합한다.
• 현재 IML 시스템에서의 격차를 특정화하며, 특히 실시간 인간 정신 상태를 반영하지 못하는 인지 피드백의 통합 부족을 지적한다.
• 세 가지 유형의 인지 피드백 메커니즘—자기 보고, 암묵적 피드백, 모델 기반 피드백—을 제안하고 평가하여 IML 시스템을 향상시킨다.
• 복잡하고 시간이 급한 방어 임무를 수행하는 전문가를 지원하는 인간 중심의 적응형 기계학습 시스템의 개발을 진전시킨다.

제안 방법

• 분석가가 인간-컴퓨터 인터페이스(HCI)를 통해 예측 결과를 반복적으로 레이블링하고 수정하는 상호작용 기반 기계학습(IML) 아키텍처를 구현한다.
• 작업 수행 중 설문조사나 프롬프트를 통해 자기 보고된 정신 상태(예: 작업 부하, 불확실성)를 수집함으로써 인지 피드백을 통합한다.
• 눈동자 이동, 반응 시간, 뇌파(EEG) 등의 행동 및 생리적 신호를 수집하여 암묵적 인지 피드백을 캡처한다.
• 계산 기반 인지 모델(예: ACT-R, SOAR)을 활용하여 직접 입력 없이도 작업 부하나 의사결정 불확실성을 유추할 수 있도록 사용자 행동을 시뮬레이션한다.
• 피드백 데이터를 활용해 모델 기능을 동적으로 조정하거나, 훈련 예제의 재가중치를 부여하거나, 활성 학습 루프 내에서 데이터 샘플링 우선순위를 조정한다.
• 전통적인 IML 평가 지표(예: 분류 정확도, 수정 비율)와 함께 인지 피드백 데이터를 통합하여 시스템 성능 및 분석가 작업 부하를 평가한다.

실험 결과

연구 질문

• RQ1 인지 피드백은 방어 응용 분야에서 상호작용 기반 기계학습 시스템의 사용성과 적응성을 어떻게 향상시킬 수 있는가?
• RQ2 자기 보고, 암묵적 인지 피드백, 모델 기반 인지 피드백 간의 상대적 장점과 한계는 무엇인가?
• RQ3 인지 피드백을 통합할 경우, 실시간으로 분석가의 인지 부하를 줄이고 임무 성능을 향상시킬 수 있는 정도는 어느 정도인가?
• RQ4 분석가의 작업 흐름을 방해하지 않으면서 실시간으로 인지 피드백을 효과적으로 수집하고 모델링할 수 있는 방법은 무엇인가?
• RQ5 인지 피드백을 통합하면 모델의 일반화 능력이 향상되고, 예기치 않은 또는 변화하는 임무 맥락에서 광범위한 수동 재훈련이 필요로 하는 정도가 줄어드는가?

주요 결과

• 특히 암묵적 피드백과 모델 기반 피드백을 통한 인지 피드백은 분석가의 작업 부하와 불확실성에 실시간으로 적응함으로써 IML 성능을 크게 향상시킨다.
• 자기 보고는 분석가의 정신 상태에 대한 직접적인 통찰을 제공하지만, 높은 속도의 환경에서는 인지적 부담으로 인해 실용성이 떨어질 수 있다.
• 행동 및 생리적 신호에서 유도된 암묵적 인지 피드백은 모델에 인지 기능을 통합했을 때 기존 기계학습 접근 방식보다 뛰어난 성능을 보인다.
• ACT-R나 SOAR와 같은 아키텍처를 사용한 모델 기반 인지 피드백은 사용자 행동을 시뮬레이션하고, IML 시스템의 예측적 적응을 지원한다.
• 인지 피드백을 통합하면 더 효과적인 모델 최적화와 높은 분석가 생산성이 이루어지며, 특히 동적 또는 예측 불가능한 운영 맥락에서 유의미한 성과를 낸다.
• 인지 피드백을 활성 학습과 융합하면 데이터 효율성이 향상되고, 시간이 지남에 따라 수동 수정이 필요한 횟수가 감소한다.