[논문 리뷰] MEGAnno+: A Human-LLM Collaborative Annotation System

Hannah Kim, Kushan Mitra외 3명|arXiv (Cornell University)|2024. 02. 28.

Natural Language Processing Techniques인용 수 4

한 줄 요약

MEGAnno+는 선택적 인간 검증을 통해 LLM을 애너테이터로 통합함으로써 효율적이고 고품질의 데이터 레이블링을 가능하게 하는 인간-LLM 협업 애너테이션 시스템입니다. 이 시스템은 LLM 에이전트 관리, 강력한 LLM 프롬프팅, 저신뢰도 예측에 대한 탐색적 인간 검토를 지원하여 인간 전용 또는 LLM 전용 접근 방식에 비해 레이블링의 효율성과 신뢰성을 크게 향상시킵니다.

ABSTRACT

Large language models (LLMs) can label data faster and cheaper than humans for various NLP tasks. Despite their prowess, LLMs may fall short in understanding of complex, sociocultural, or domain-specific context, potentially leading to incorrect annotations. Therefore, we advocate a collaborative approach where humans and LLMs work together to produce reliable and high-quality labels. We present MEGAnno+, a human-LLM collaborative annotation system that offers effective LLM agent and annotation management, convenient and robust LLM annotation, and exploratory verification of LLM labels by humans.

연구 동기 및 목표

• 데이터 애너테이션 과정에서 LLM이 복잡한 사회문화적 또는 도메인 특화된 맥락을 이해하는 데 한계를 가지는 문제를 해결하기 위해.
• LLM의 속도와 인간의 전문 지식을 조합함으로써 레이블링 비용과 시간을 줄이면서도 고품질의 애너테이션을 유지하기 위해.
• LLM 에이전트, 레이블, 메타데이터를 효과적으로 관리할 수 있는 확장 가능한 애너테이션 시스템을 설계하기 위해.
• 오류와 편향을 수정하기 위해 LLM이 생성한 레이블에 대해 선택적이고 탐색적인 인간 검토를 가능하게 하기 위해.
• 인간이 참여하는 데이터 레이블링 파이프라인 내에서 LLM을 애너테이터로 통합하기 위한 실용적인 프레임워크를 제공하기 위해.

제안 방법

• 시스템은 인간-LLM 협업 워크플로우를 활용합니다: LLM이 먼저 레이블을 생성한 후, 저신뢰도 예측에 대해 대상 지정된 인간 검토가 이루어집니다.
• 사용자가 최적의 설정을 테스트하고 선택할 수 있도록 구성 가능한 모델과 온도 설정을 지원하는 사용자 정의 가능한 LLM 에이전트를 지원합니다.
• MEGAnno+는 LLM 모델, 애너테이션, 신뢰도 점수 및 logprobs와 같은 메타데이터를 저장하고 관리하기 위한 통합 백엔드를 제공합니다.
• 인간 애너테이터가 잠재적으로 문제를 일으킬 수 있는 LLM 출력으로 향하도록 안내하기 위해 유연한 검색 및 추천 인터페이스를 포함합니다.
• 대규모 LLM 애너테이션 작업 중 실시간 진행 상황 추적을 가능하게 하여 워크플로우의 투명성을 향상시킵니다.
• 일致성과 성능 향상을 위해 데이터 기반 프롬프팅 엔지니어링을 통한 프롬프트 템플릿링 및 인라인 학습을 지원합니다.

실험 결과

연구 질문

• RQ1 어떻게 LLM을 인간-중심 애너테이션 파이프라인에 효과적으로 통합하여 레이블링의 효율성과 품질을 향상시킬 수 있는가?
• RQ2 협업 애너테이션 환경에서 LLM 에이전트, 그 출력, 관련 메타데이터를 관리하기 위해 필요한 시스템 수준의 구성 요소는 무엇인가?
• RQ3 저신뢰도 예측에 대해 인간 검토를 선택적으로 적용하면 비용 효율성을 극대화할 수 있는가?
• RQ4 프롬프트 설계와 모델 설정(예: 온도)이 LLM 애너테이션의 신뢰성에 어떤 영향을 미치는가?
• RQ5 민감하거나 도메인 특화된 데이터 레이블링에 상용 LLM을 사용할 때의 실용적 과제와 위험 요소는 무엇인가?

주요 결과

• 이전 연구에서 입증되었듯이, MEGAnno+의 워크플로우에 기반해 LLM은 인간 전용 애너테이션 대비 레이블링 비용을 최대 96%까지 절감할 수 있습니다.
• 특정 분류 작업에서는 인간이 생성한 레이블보다 LLM이 생성한 레이블이 더 우수할 수 있으며, 특히 저신뢰도 예측에 대한 인간 검토가 병행될 경우 더욱 그렇습니다.
• 사용자는 온도=0 대비 온도=0.7 등의 다양한 LLM 설정을 비교하고, 특정 작업에 가장 신뢰도가 높은 모델을 선택할 수 있습니다.
• 저신뢰도 예측(예: 95% 미만)에 집중한 인간 검토는 최소한의 인간 노력으로도 레이블 품질을 크게 향상시킵니다.
• MEGAnno+는 대규모 LLM 애너테이션 작업 중 실시간 진행 상황 추적을 지원하여 워크플로우의 투명성과 사용성 향상에 기여합니다.
• 시스템의 후처리 및 메타데이터 처리는 LLM의 기본 기능에 의해 제한되며, 예를 들어 GPT-4에서는 logprobs가 제공되지 않아 불확실성 추정에 영향을 미칩니다.