[논문 리뷰] Unified Text Structuralization with Instruction-tuned Language Models

Xuanfan Ni, Piji Li외 1명|arXiv (Cornell University)|2023. 03. 27.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)를 사용하여 텍스트 구조화를 위한 통합적이고 지시어 튜닝된 접근법을 제안한다. 여기서 접두사 및 접미사 지시어가 태스크에 특화된 미세조정 없이 다양한 정보 구조(예: 실체, 관계, 사건 등)를 추출하도록 모델을 이끌어낸다. 실험 결과, 다국어 및 다중 도메인 데이터셋에서 최신 기술 수준(SOTA) 성능을 보이며, 저자원 도메인(법률 및 금융 등)에서 저비용 데이터셋 구축 잠재력과 강력한 zero-shot 일반화 성능을 확보하였다.

ABSTRACT

Text structuralization is one of the important fields of natural language processing (NLP) consists of information extraction (IE) and structure formalization. However, current studies of text structuralization suffer from a shortage of manually annotated high-quality datasets from different domains and languages, which require specialized professional knowledge. In addition, most IE methods are designed for a specific type of structured data, e.g., entities, relations, and events, making them hard to generalize to others. In this work, we propose a simple and efficient approach to instruct large language model (LLM) to extract a variety of structures from texts. More concretely, we add a prefix and a suffix instruction to indicate the desired IE task and structure type, respectively, before feeding the text into a LLM. Experiments on two LLMs show that this approach can enable language models to perform comparable with other state-of-the-art methods on datasets of a variety of languages and knowledge, and can generalize to other IE sub-tasks via changing the content of instruction. Another benefit of our approach is that it can help researchers to build datasets in low-source and domain-specific scenarios, e.g., fields in finance and law, with low cost.

연구 동기 및 목표

• 텍스트 구조화를 위한 고품질의 다국어 및 도메인 특화된 주석 데이터셋 부족 문제를 해결하기 위해.
• NER, RE, EE 등의 정보 추출(IE) 하위 작업 간 일반화 능력이 떨어지는 태스크에 특화된 모델의 한계를 극복하기 위해.
• 미세조정 없이 지시어 튜닝된 LLM을 사용해 zero-shot 및 few-shot 정보 추출을 가능하게 하기 위해.
• 금융 및 법률과 같은 저자원 분야에서 도메인 특화된 데이터셋을 구축하는 데 드는 비용과 노력을 줄이기 위해.
• 지시어 기반 프롬프팅의 강건성과 일반화 능력을 다양한 LLM 및 지시어 변형에 대해 평가하기 위해.

제안 방법

• 입력 텍스트 앞에 원하는 IE 태스크를 지정하는 접두사 지시어(예: '명시된 실체를 추출하라')를 삽입한다.
• 입력 텍스트 뒤에 대상 구조 유형을 지정하는 접미사 지시어(예: '키-값 쌍 형식으로 출력하라')를 첨부한다.
• 결합된 입력(접두사 + 텍스트 + 접미사)을 지시어 튜닝된 LLM에 입력하여 종단 간 텍스트 구조화를 수행한다.
• 태스크에 특화된 미세조정 없이 zero-shot 또는 few-shot 프롬프팅을 사용하여 다양한 IE 하위 작업 간 일반화를 가능하게 한다.
• 여러 데이터셋과 언어에서 키-값 쌍의 F1 점수 및 구조도 지표를 사용해 모델 성능을 평가한다.
• 지시어 위치와 표현 방식에 대한 분석을 통해 모델의 민감도와 이해 능력을 평가하기 위해 분석 실험을 수행한다.

실험 결과

연구 질문

• RQ1 지시어 튜닝된 LLM은 태스크에 특화된 미세조정 없이 다양한 IE 태스크에서 zero-shot 텍스트 구조화를 수행할 수 있는가?
• RQ2 접두사 및 접미사 지시어의 위치와 표현 방식은 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 이 통합적 프롬프팅 접근법은 금융 및 법률과 같은 저자원 및 도메인 특화된 상황에 얼마나 잘 일반화되는가?
• RQ4 다양한 모델 규모에서 다양한 디코딩 전략(예: 탐욕적 vs. top-p 샘플링)은 출력 품질에 어떤 영향을 미치는가?
• RQ5 모델 규모가 텍스트 구조화 태스크에서 오류율과 지시어 이해 능력에 어떤 영향을 미치는가?

주요 결과

• 특히 GPT-3 175B와 FLAN-T5-XXL와 같은 지시어 튜닝된 LLM은 어떤 미세조정 없이도 NER, RE, EE 태스크에서 경쟁적인 F1 점수를 기록하며, 최신 기술 수준 성능에 도달하거나 이를 근접한다.
• 이 방법은 언어 및 도메인 간 효과적으로 일반화되며, 의료 및 금융 텍스트와 같은 저자원 설정에서도 저비용 데이터셋 구축을 가능하게 한다.
• 분석 실험 결과, 접두사 및 접미사 지시어 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 성능이 크게 하락함으로써 이들이 모델을 이끄는 데 핵심적인 역할을 한다는 점을 시사한다.
• 지시어 표현 방식의 변형(예: '추출하라' vs. '얻으라', '정보' vs. '자료')에 대해 모델이 강건하게 반응함을 확인하였으며, 이는 모델이 키워드에 의존하기보다는 의도를 이해하고 있음을 의미한다.
• 더 큰 모델인 GPT-3 175B는 더 적은 오류를 기록하고 지시어 이해 능력이 뛰어나며, 더 작은 모델와 달리 중복 또는 환각 출력이 관찰되지 않았다.
• 디코딩 전략은 큰 모델(예: FLAN-T5-XXL)에 대해 거의 영향을 미치지 않아, 다양한 추론 설정에서도 높은 안정성과 신뢰성을 확보하고 있음을 시사한다.