[논문 리뷰] Automated Annotation with Generative AI Requires Validation

Nicholas Pangakis, Samuel Wolken외 1명|arXiv (Cornell University)|2023. 05. 31.

Computational and Text Analysis Methods인용 수 34

한 줄 요약

이 논문은 LLM을 이용한 자동 주석이 인간 레이블과 대조 검증되어야 한다고 주장하고, 다섯 단계 워크플로를 제안하며, 27개 작업에서 LLM의 성능이 다양하게 나타나 전체적으로는 유망하지만 작업 의존적 신뢰성을 보인다.

ABSTRACT

Generative large language models (LLMs) can be a powerful tool for augmenting text annotation procedures, but their performance varies across annotation tasks due to prompt quality, text data idiosyncrasies, and conceptual difficulty. Because these challenges will persist even as LLM technology improves, we argue that any automated annotation process using an LLM must validate the LLM's performance against labels generated by humans. To this end, we outline a workflow to harness the annotation potential of LLMs in a principled, efficient way. Using GPT-4, we validate this approach by replicating 27 annotation tasks across 11 datasets from recent social science articles in high-impact journals. We find that LLM performance for text annotation is promising but highly contingent on both the dataset and the type of annotation task, which reinforces the necessity to validate on a task-by-task basis. We make available easy-to-use software designed to implement our workflow and streamline the deployment of LLMs for automated annotation.

연구 동기 및 목표

• LLM 기반 주석이 전문가 인간 레이블에 대한 작업별 검증을 필요로 한다는 것을 입증한다.
• 인간 판단을 전면에 두면서 LLM으로 텍스트 주석을 보강하기 위한 원칙적이고 효율적인 워크플로를 개발한다.
• 다양하고 비공개 사회과학 데이터셋 전반에서 LLM 성능을 평가하여 사용 사례와 한계를 식별한다.
• 워크플로를 구현하고 주석 일관성을 측정하기 위한 오픈 소스 소프트웨어를 제공한다.

제안 방법

• 작업별 코드북을 활용한 LLM 보강 주석을 위한 다섯 단계 워크플로를 제안한다.
• 두 명의 주제 전문가와 LLM이 동일한 코드북을 사용해 공유 데이터 하위 집합에 주석을 달도록 한다.
• 보류된 샘플에 대해 인간 레이블과의 정확도, 정밀도, 재현율, F1을 측정한다.
• 오류 분류를 해결하기 위해 사람 포함(human-in-the-loop) 방식으로 코드북을 반복적으로 업데이트한다.
• 나머지 인간 라벨 샘플에서 LLM 성능을 테스트하여 자동 주석의 타당성을 판단한다.

Figure 2: Precision and recall for each of 27 replicated classification tasks. Color reflects dataset, such that points sharing the same color are conducted on the same text data.

실험 결과

연구 질문

• RQ1 전문가 레이블로 검증될 때 LLM이 다양한 사회과학 과제 전반에서 신뢰할 수 있는 텍스트 주석을 달 수 있는가?
• RQ2 코드북(프롬프트) 개선이 LLM 분류 성능에 어떤 영향을 미치는가?
• RQ3 작업 성능이 가변적일 때 LLM을 주석 워크플로에 통합하는 실용적인 사용 사례는 무엇인가?
• RQ4 일관성 점수 등 어떤 지표와 개념이 경계 사례를 식별하고 품질을 보장하는 데 도움이 되는가?

주요 결과

• LLM 주석은 27개 작업에서 중앙값 F1이 0.707에 도달하지만 성능은 작업에 매우 특수하다.
• 27개 작업 중 9개 작업에서 정밀도 또는 재현율이 0.5 미만으로, 상당한 경계 사례와 일반화되지 않는 결과를 시사한다.
• 일관성 점수는 정확도 및 진양성/음성률과 상관관계가 있어 어려운 샘플을 식별하는 데 도움이 된다.
• 코드북 업데이트는 다소 개선을 가져오지만 프롬프트 엔지니어링 만으로는 성능에 강한 효과가 없다.
• 성능 및 자원 제약에 따라 LLM을 유연하게 통합할 수 있는 4가지 사용 사례가 있다.
• 워크플로와 동반하는 오픈 소스 도구는 사람의 개입으로 검증하는 LLM 보강 주석 구현을 간소화한다.

Figure 3: Relationship between consistency score and accuracy, TPR, and TNR.