[논문 리뷰] Putting Humans in the Natural Language Processing Loop: A Survey

Zijie J. Wang, Dongjin Choi외 2명|arXiv (Cornell University)|2021. 03. 06.

Topic Modeling참고 문헌 27인용 수 15

한 줄 요약

이 종합 검토는 NLP 및 HCI 공동체의 연구를 통합하여 인간이 개입하는(Human-in-the-Loop, HITL) 자연어 처리(Natural Language Processing, NLP) 시스템에 대한 포괄적인 분석을 제시한다. 본 논문은 작업, 목표, 인간 상호작용 설계, 피드백 학습 방법에 따라 HITL 프레임워크를 분류하며, 지속적인 인간 피드백을 통한 모델 성능 향상, 해석 가능성 향상, 사용성 향상의 역할을 강조한다. 또한 인간 중심의 NLP 개발을 위한 핵심 연구 격차와 향후 방향성을 밝혀낸다.

ABSTRACT

How can we design Natural Language Processing (NLP) systems that learn from human feedback? There is a growing research body of Human-in-the-loop (HITL) NLP frameworks that continuously integrate human feedback to improve the model itself. HITL NLP research is nascent but multifarious -- solving various NLP problems, collecting diverse feedback from different people, and applying different methods to learn from collected feedback. We present a survey of HITL NLP work from both Machine Learning (ML) and Human-Computer Interaction (HCI) communities that highlights its short yet inspiring history, and thoroughly summarize recent frameworks focusing on their tasks, goals, human interactions, and feedback learning methods. Finally, we discuss future directions for integrating human feedback in the NLP development loop.

연구 동기 및 목표

• NLP 및 HCI 공동체를 아우르는 종합적이고 다학제적인 HITL NLP 연구 조사 제공.
• 작업, 목표, 인간 상호작용, 피드백 학습 방법이라는 핵심 차원을 기반으로 기존 HITL NLP 프레임워크를 체계화.
• 피드백 수집, 인터페이스 설계, 인간-AI 협업 평가 분야에서의 핵심 연구 격차 및 열린 문제점 규명.
• 더 나은 해석 가능성, 사용성, 신뢰성 확보를 위한 NLP 및 HCI 연구자 간 깊은 협력 촉진.
• HITL NLP 연구 분야의 재현 가능성과 진전을 위해 오픈 소스 도구, 공유 데이터셋, 철저한 사용자 연구 개발 촉진.

제안 방법

• NLP 및 HCI 공동체에서 선별된 25개 이상의 대표적 HITL NLP 연구에 대한 체계적 문헌 검토.
• 네 가지 차원에 기반한 프레임워크 분류: (1) NLP 작업(예: 텍스트 분류, 요약), (2) 시스템 목표(예: 성능, 해석 가능성), (3) 인간 상호작용 모odal(예: GUI, 자연어), (4) 피드백 학습 방법(예: 온라인 업데이트, 반사적 예시).
• 이진 피드백, 척도 피드백, 자연어 피드백, 반사적 예시 등 피드백 유형 분석을 통해 모델 학습에 미치는 영향 평가.
• 모델 해석 유도 신호, 질문 프레밍, 피드백 안내 전략 등의 인터페이스 설계 전략 평가를 통해 피드백 품질 향상 분석.
• 메타분석을 활용해 피드백 일관성, 노이즈, 사용자 전문성 등 반복적인 설계 패턴과 과제 규명.
• 실제 HITL 상호작용을 설명하기 위해 사례 연구 및 예시(예: 자연어 입력을 통한 모델 파라미터 수정, '만약 이런 경우' 기능 조작) 통합.

실험 결과

연구 질문

• RQ1 다양한 HITL NLP 프레임워크는 작업, 목표, 인간 상호작용 방식, 피드백 학습 메커니즘 측면에서 어떻게 다를까?
• RQ2 NLP 시스템에서 높은 품질, 일관성 있고 유용한 인간 피드백을 수집하는 데 있어 핵심 과제는 무엇인가?
• RQ3 HITL 시스템은 모델 정확도 향상 외에도 해석 가능성과 사용성을 어떻게 향상시킬 수 있는가?
• RQ4 HCI 원칙은 NLP 시스템을 위한 효과적이고 직관적이며 신뢰할 수 있는 인간-AI 인터페이스 설계에 어떤 역할을 할 수 있는가?
• RQ5 NLP 개발 루프에 인간 피드백을 통합하는 데 있어 향후 가장 중요한 연구 방향은 무엇인가?

주요 결과

• HITL NLP 프레임워크는 훈련 및 구현 단계에서 지속적인 인간 피드백을 통합함으로써 모델 성능 향상, 해석 가능성 향상, 사용성 향상에 크게 기여한다.
• 피드백 품질은 인터페이스 설계에 크게 의존한다. 모델 해석 유도 신호와 질문 프레밍 전략은 인간 입력의 유용성을 크게 향상시킬 수 있다.
• 사용자가 자연어를 통해 모델 파라미터를 수정할 수 있는 시스템(예: '나한테는 그들/그들을 써줘')은 사용자 참여도와 모델 투명성을 높이는 데 기여한다.
• HITL 시스템의 효과성과 사용자 신뢰도 평가를 위해 모델 메트릭스 외에도 철저한 사용자 연구가 절실하다.
• 재현 가능성을 확보하고 분야 발전을 이끌기 위해 오픈소스 도구 공유, 사용자 연구 프rotocol 공개, 공개 피드백 데이터셋 제작이 필수적이다.
• 가장 효과적인 HITL 시스템은 수집할 가장 정보성 있는 피드백을 동적으로 선별하고, 사용자가 고급 품질의 입력을 제공하도록 안내한다.