[논문 리뷰] InstructIE: A Bilingual Instruction-based Information Extraction Dataset

Honghao Gui, Qiao, Shuofei외 7명|arXiv (Cornell University)|2023. 05. 19.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 모델이 자연어 지시어를 따라 텍스트에서 관계 트리플릿을 추출하는 데 초점을 맞춘 새로운 과제인 지시 기반 정보 추출(InstructIE)을 소개한다. 저자들은 중국어 위키백과에서 유도된 270,000개의 약한 지도 학습 데이터와 1,000개의 커뮤니티 기반 캐디네이션을 포함한 InstructIE 데이터셋을 제안하며, 현재 모델들이 합리적인 성능을 보이지만, 특히 새로운 관계에 대해선 실체 경계 탐지와 지시어 준수 문제에서 여전히 큰 도전 과제가 남아 있음을 입증한다.

ABSTRACT

Large language models can perform well on general natural language tasks, but their effectiveness is still suboptimal for information extraction (IE). Recent works indicate that the main reason lies in the lack of extensive data on IE instructions. Note that the existing datasets on IE instructions not only have limited coverage but also involve high construction costs. To address this issue, we introduce InstructIE, a bilingual instruction-based IE dataset, which covers 12 diverse domains. We propose KG2Instruction, a framework specifically for the automatic generation of such datasets. Additionally, we manually annotate the test set. Experimental results demonstrate that large language models trained with InstructIE can not only obtain better IE capabilities but also enhance zero-shot performance compared with baselines.

연구 동기 및 목표

• 특정 작업에 특화된 IE 아키텍처의 적응성과 다중 도메인 일반화 능력 부족 문제를 해결하기 위해.
• 모델이 자연어 지시어를 따라 구조화된 정보를 추출하는 새로운 IE 패러다임인 지시 기반 IE를 제안하기 위해.
• 지시 기반 IE 모델을 훈련하고 평가하기 위한 대규모 고품질 데이터셋(InstructIE)을 구축하기 위해.
• InstructIE 벤치마크에서 기준 모델을 평가하고 지시어 준수 및 실체 추출에서의 주요 실패 유형을 특정하기 위해.
• 지시 기반 IE에서 새로운 실체 및 관계 유형에 대해 제로샷 일반화를 달성하는 데 있어 도전 과제를 제공하기 위해.

제안 방법

• 과제는 입력으로 자연어 지시어(추출 요구사항 및 출력 형식을 명시)를 포함하고 출력으로 구조화된 정보를 생성하는 일련의 시퀀스 생성 문제로 정의된다.
• 지시어 형식은 $\mathcal{I} = \mathcal{S} \cup \mathcal{T}$ 로 정의되며, $\mathcal{S}$ 는 사용자 정의 가능한 실체/관계 유형 목록이고, $\mathcal{T}$ 는 출력 형식(예: JSON 또는 트리플릿 형식)을 의미한다.
• 위키백과의 270,000개 문단에 대해 위키데이터를 지식 소스로 사용하여 약한 지도 학습을 적용해 합성된 지시-추출 쌍을 생성한다.
• 정확한 지시어-관계 일치 및 정확한 트리플릿 형식을 보장하기 위해 1,000개의 인스턴스에 대해 커뮤니티 기반으로 고품질의 캐디네이션을 수집한다.
• 표준 IE 메트릭을 사용하여 ChatGPT 및 CaMA와 같은 LLM 기반 기준 모델들을 1,000개의 캐디네이션 인스턴스에 대해 미세조정하고 평가한다.
• 예측 실패를 여섯 가지 유형으로 분류하기 위해 상세한 오류 분석을 수행한다: 오류 헤드, 오류 관계, 오류 테일, 중복, 정의되지 않은 관계, 기타.

실험 결과

연구 질문

• RQ1 기존의 대규모 언어 모델은 제로샷 또는 희소샷 설정에서 자연어 지시어를 따라 관계 트리플릿을 얼마나 잘 추출할 수 있는가?
• RQ2 지시 기반 IE에서 주요 실패 유형은 무엇인가? 특히 실체 경계 탐지와 관계 환상 문제에 대해 설명하라.
• RQ3 위키백과와 위키데이터에서 유도된 약한 지도 학습 데이터로 지시 기반 IE 모델을 사전 훈련하는 데 얼마나 활용할 수 있는가?
• RQ4 지시어 준수 모델의 성능은 다양한 오류 유형에 대해 어떻게 비교되는가? 특히 새로운 관계나 실체를 처리할 때 어떻게 되는가?
• RQ5 훈련 중에 볼 수 없었던 새로운 실체 및 관계 유형에 대해 강건한 일반화를 달성하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 현재 최고 성능 모델들은 InstructIE 벤치마크에서 합리적인 성능를 보이지만, 실체 경계 탐지 측면에서 향상 여지가 크다.
• 가장 흔한 오류 유형은 '오류 실체'(잘못된 헤드 또는 테일 실체)이며, 특히 테일 실체에 대해 정확한 스팬 탐지에 한계가 있음을 시사한다.
• 예측이 대부분 관련 없거나 형식이 잘못된 '기타' 오류 유형의 비율이 높아, 모델이 생성 제어와 지시어 준수에 어려움을 겪고 있음을 시사한다.
• ChatGPT는 '정의되지 않은 관계' 오류에서 상대적으로 낮은 성능를 보이며, 지정된 후보 집합 외의 관계를 생성하는 경향이 있음을 나타낸다.
• CaMA는 전체적으로 가장 우수한 성능를 보이며, 특히 '기타' 및 '중복' 오류를 최소화하여 더 나은 생성 제어와 지시어 준수 능력을 보여준다.
• 모든 모델이 '오류 관계' 및 '정의되지 않은 관계' 오류에서 낮은 오류율을 보이며 지시어의 관계 집합과 강한 일치를 보이지만, 실체 수준의 오류에서 성능이 크게 떨어진다.