[논문 리뷰] LLM4Jobs: Unsupervised occupation extraction and standardization leveraging Large Language Models

Nan Li, Bo Gyeong Kang외 1명|arXiv (Cornell University)|2023. 09. 18.

Topic Modeling인용 수 5

한 줄 요약

LLM4Jobs는 오픈소스 대규모 언어모델(LLM)의 자연어 이해 및 생성 능력을 활용하여 자동 직업 추출 및 표준화를 위한 비지도 학습 프레임워크이다. 직업 분류체계 설명 및 쿼리 텍스트로부터 LLM에 의해 생성된 임베딩을 사용하고, 벡터 유사도 검색을 수행함으로써, 미세조정이나 고비용 모델 없이도 합성 및 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Automated occupation extraction and standardization from free-text job postings and resumes are crucial for applications like job recommendation and labor market policy formation. This paper introduces LLM4Jobs, a novel unsupervised methodology that taps into the capabilities of large language models (LLMs) for occupation coding. LLM4Jobs uniquely harnesses both the natural language understanding and generation capacities of LLMs. Evaluated on rigorous experimentation on synthetic and real-world datasets, we demonstrate that LLM4Jobs consistently surpasses unsupervised state-of-the-art benchmarks, demonstrating its versatility across diverse datasets and granularities. As a side result of our work, we present both synthetic and real-world datasets, which may be instrumental for subsequent research in this domain. Overall, this investigation highlights the promise of contemporary LLMs for the intricate task of occupation extraction and standardization, laying the foundation for a robust and adaptable framework relevant to both research and industrial contexts.

연구 동기 및 목표

• 자유형식 직업 공고 및 이력서에서 정확하고 확장 가능하며 비지도 방식으로 직업 추출 및 표준화하는 문제를 해결하기 위해.
• 라벨이 부여된 데이터에 의존하거나 언어 특이성 및 분류체계 제약 등에 기인한 제약을 극복하기 위해.
• 디코더 전용 LLM이 자연어 이해 및 생성 능력을 활용하여 직업 코드화를 위한 고품질 텍스트 표현을 생성할 잠재력을 탐색하기 위해.
• 비용 효율적이며 학술 및 산업 분야에 적합한 유연한, 분류체계 및 언어에 관계없는 프레임워크를 제공하기 위해.
• 미래의 직업 코드화 연구를 위한 새로운 벤치마크 데이터셋(합성 및 실세계 데이터셋)을 제공하기 위해.

제안 방법

• LLM4Jobs는 두 단계 접근 방식을 채택한다: 첫 번째 단계에서는 사전 훈련된 LLM을 사용하여 표준 분류체계에 포함된 각 직업에 대해 밀도 높은 벡터 임베딩을 계산한다.
• 각 직업에 대해 LLM은 해당 직업의 전체 텍스트 설명을 처리하고, 토큰 수준의 임베딩 평균을 최종 임베딩 벡터로 취한다.
• 쿼리 단계에서는 입력되는 직업 공고 또는 이력서를 동일한 LLM을 사용해 요약하여 핵심적인 직업 관련 내용을 추출할 수 있다.
• 요약된 또는 원본 텍스트는 동일한 LLM을 사용하여 임베딩되어 유사도 매칭을 위한 쿼리 벡터를 생성한다.
• 벡터 유사도 검색(예: 코사인 유사도)을 통해 사전에 계산된 분류체계 임베딩 공간에서 가장 관련성이 높은 직업 코드를 검색한다.
• 프레임워크는 배포 비용을 낮추고 광범위한 접근성을 확보하기 위해 오직 오픈소스 LLM에 의존한다.

실험 결과

연구 질문

• RQ1 디코더 전용 LLM은 미세조정 없이도 비지도 직업 코드화에 효과적으로 활용될 수 있는가?
• RQ2 LLM 기반 텍스트 요약은 긴 또는 노이즈가 많은 직업 공고에서 직업 코드화 정확도를 향상시키는가?
• RQ3 다양한 데이터셋과 세분성 수준에서 기존 비지도 기준 대비 LLM4Jobs의 성능은 어떻게 비교되는가?
• RQ4 오픈소스 LLM은 GPT-4와 같은 비공개 모델에 비해 직업 코드화 작업에서 유사한 성능을 달성할 수 있는가?
• RQ5 LLM을 통해 생성된 합성 및 실세계 데이터셋은 향후 직업 코드화 연구를 위한 신뢰할 수 있는 벤치마크로 기능할 수 있는가?

주요 결과

• LLM4Jobs는 합성 및 실세계 데이터셋 모두에서 최신 비지도 기준을 뛰어넘는 성능을 지속적으로 보이며, 다양한 데이터 분포와 세분성 수준에서 강건함을 입증한다.
• LLM 기반 요약을 활용하면 특히 긴 또는 노이즈가 많은 직업 공고에서 핵심 역할 기술 서술에 집중함으로써 직업 코드화 정확도가 크게 향상된다.
• LLM4Jobs는 고비용 비공개 모델(GPT-4 등)을 사용하지 않고도 오픈소스 LLM만으로도 높은 성능을 달성한다.
• 제안된 합성 및 실세계 데이터셋은 향후 연구를 위한 유의미한 벤치마크를 제공하며, 실세계 데이터셋은 수동으로 애너테이션 처리되었고, 합성 데이터셋은 GPT-4를 통해 생성되었다.
• LLM4Jobs는 LLM의 자연어 생성 능력을 완전히 활용하여 직업 코드화에 응용한 최초의 프레임워크로, 이 분야에 새로운 방향성을 제시한다.
• 데이터셋 크기의 제약과 합성 데이터의 잠재적 분포 차이에도 불구하고, LLM4Jobs는 다양한 분류체계와 언어에서 강력한 일반화 및 적응 능력을 보여준다.