[논문 리뷰] Cost-effective Interactive Attention Learning with Neural Attention Processes

Jay Heo, Junhyeon Park외 5명|arXiv (Cornell University)|2020. 06. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 4

한 줄 요약

이 논문은 재훈련 없이 인간 감독자가 Neural Attention Processes (NAP)를 통해 모델의 주의를 반복적으로 수정할 수 있는 비용 효율적인 프레임워크인 상호작용 주의 학습(IAL)을 제안한다. 또한 비용 효율적인 재순서 정렬을 통해 모델 성능에 악영향을 미치는 정도에 따라 인스턴스와 특징을 우선순위를 정한다. IAL은 의료, 부동산, 컴퓨터 비전 분야의 시계열 작업에서 인간의 참여와 재훈련 비용을 크게 줄이며 모델 성능을 크게 향상시킨다.

ABSTRACT

We propose a novel interactive learning framework which we refer to as Interactive Attention Learning (IAL), in which the human supervisors interactively manipulate the allocated attentions, to correct the model's behavior by updating the attention-generating network. However, such a model is prone to overfitting due to scarcity of human annotations, and requires costly retraining. Moreover, it is almost infeasible for the human annotators to examine attentions on tons of instances and features. We tackle these challenges by proposing a sample-efficient attention mechanism and a cost-effective reranking algorithm for instances and features. First, we propose Neural Attention Process (NAP), which is an attention generator that can update its behavior by incorporating new attention-level supervisions without any retraining. Secondly, we propose an algorithm which prioritizes the instances and the features by their negative impacts, such that the model can yield large improvements with minimal human feedback. We validate IAL on various time-series datasets from multiple domains (healthcare, real-estate, and computer vision) on which it significantly outperforms baselines with conventional attention mechanisms, or without cost-effective reranking, with substantially less retraining and human-model interaction cost.

연구 동기 및 목표

• 희소한 인간 애너테이션으로 인해 발생하는 높은 비용과 과적합 위험을 해결하기 위해.
• 모델 성능에 가장 큰 악영향을 미치는 인스턴스와 특징을 우선순위에 따라 정렬함으로써 인간 감독 비용을 줄이기 위해.
• 재훈련 없이도 인간 피드백을 주의 메커니즘에 직접 통합함으로써 효율적인 모델 업데이트를 가능하게 하기 위해.
• 임상 위험 예측과 같은 안전이 중요한 응용 분야에서 모델의 해석 가능성과 신뢰성을 향상시키기 위해.
• 인간 상호작용과 계산적 재훈련 비용을 모두 최소화하는 확장 가능한 상호작용 학습 프레임워크를 개발하기 위해.

제안 방법

• 재훈련 없이 새로운 주의 수준의 감독 신호를 사용해 행동을 업데이트할 수 있는 확률적 주의 생성기인 신경 주의 프로세스(NAP)를 도입한다.
• 훈련 데이터가 제한된 경우 과적합을 방지하기 위한 샘플 효율적인 주의 메커니즘을 적용한다.
• 불확실성, 影響 함수, 반사적 추정을 사용한 비용 효율적인 재순서 정렬을 통해 문제적 인스턴스와 특징을 우선순위에 따라 정렬한다.
• 각 인간 피드백 루프의 영향을 극대화하기 위해 부정적 영향도에 따라 인스턴스와 특징을 순서 정렬한다.
• NAP에서 약화된 추론을 사용해 재훈련 시간을 줄이고 시스템 반응성을 향상시킨다.
• 영향 함수의 고비용 헤시안 계산을 피하면서도 성능를 유지하기 위해 불확실성과 반사적 점수의 조합을 통해 효율적이고 저비용의 재순서 정렬을 수행한다.

실험 결과

연구 질문

• RQ1 전체 재훈련 없이도 인간 피드백을 통해 신경 주의 메커니즘을 효율적으로 업데이트할 수 있는가?
• RQ2 대규모 시계열 데이터에 대한 상호작용 주의 학습에서 인간 애너테이션 비용을 어떻게 최소화할 수 있는가?
• RQ3 인스턴스 수준 및 특징 수준의 어떤 지표가 인간 피드백의 영향을 모델 성능 향상에 가장 잘 예측하는가?
• RQ4 주의 수준 피드백을 통한 상호작용 수정이 안전이 중요한 분야에서 더 신뢰할 수 있고 해석 가능한 모델을 만들어내는가?
• RQ5 부정적 영향 지표에 기반한 재순서 정렬 전략이 필요한 인간 애너테이션 수를 상당히 줄일 수 있는가?

주요 결과

• 심부전 예측 작업에서 IAL-NAP는 Random-NAP가 400개의 애너테이션 예제가 필요한 데 비해 오직 100개의 애너테이션 예제로도 동일한 AUC(0.6414)를 달성했다.
• 비용 효율적인 재순서 정렬 덕분에 인코딩자 응답 시간이 단축되었으며, 이는 그림 5의 하단부에서 확인할 수 있다.
• IAL-NAP는 EHR 기반 심혈관질환 위험 예측 및 부동산 예측을 포함한 다섯 가지 실세계 시계열 작업에서 베이스라인 방법을 능가했다.
• 불확실성과 반사적 점수의 조합은 영향 함수의 고비용 헤시안 계산을 피하면서도 성능를 유지하는 비용 효율적인 대안을 제공했다.
• 정성적 분석 결과, IAL-NAP는 임상적 추론과 일치하는 방식으로 잘못된 양성 결과(예: 젊은 환자에서 연령의 오류)와 잘못된 음성 결과(예: CVD 위험 예측에서 흡연의 오류)를 수정했다.
• NAP는 미세조정 기반 베이스라인 대비 재훈련 시간을 상당히 줄였으며, 이는 약화된 추론의 이점을 입증했다.