[논문 리뷰] Linear programming word problems formulation using EnsembleCRF NER labeler and T5 text generator with data augmentations

JiangLong He, N Mamatha외 3명|arXiv (Cornell University)|2022. 12. 30.

Software Engineering Research인용 수 4

한 줄 요약

이 논문은 명시적 개체 인식(EnsembleCRF)과 데이터 증강을 통한 다중 작업 T5 텍스트 생성기를 조합한 앙상블 방법을 제안하여 선형 프로그래밍 단어 문제의 자동 제작을 수행한다. LwTR, SR, MR, SiS 데이터 증강 기법을 적용하고 엔티티 래퍼를 사용하여 모델 입력을 향상시킴으로써, 83.5%의 선언 수준 정확도를 달성하여 기준 모델을 능가하고 NL4Opt 경쟁에서 5위를 기록하였다.

ABSTRACT

We propose an ensemble approach to predict the labels in linear programming word problems. The entity identification and the meaning representation are two types of tasks to be solved in the NL4Opt competition. We propose the ensembleCRF method to identify the named entities for the first task. We found that single models didn't improve for the given task in our analysis. A set of prediction models predict the entities. The generated results are combined to form a consensus result in the ensembleCRF method. We present an ensemble text generator to produce the representation sentences for the second task. We thought of dividing the problem into multiple small tasks due to the overflow in the output. A single model generates different representations based on the prompt. All the generated text is combined to form an ensemble and produce a mathematical meaning of a linear programming problem.

연구 동기 및 목표

• 비전문가를 대상으로 자연어에서 선형 프로그래밍 단어 문제를 자동으로 제작하는 데 도전하는 것.
• 저자원 선형 프로그래밍 단어 문제에서 앙상블 모델링을 통해 명시적 개체 인식(NER) 성능을 향상시키는 것.
• 다양한 프롬프트 기반 T5 출력을 통합하여 정확한 수학적 의미 표현을 생성하는 것.
• LwTR, SR, MR, SiS와 같은 네 가지 데이터 증강 기법을 적용하여 학습 데이터 부족 문제를 해결하는 것.
• 엔티티 래퍼를 도입하여 입력 시퀀스의 명확성과 레이블 일관성을 향상시켜 모델 성능을 향상시키는 것.

제안 방법

• 다양한 단일 모델의 예측을 통합하여 레이블 일관성과 오차 분산을 줄이기 위해 CRF 기반 모델의 앙상블(EnsembleCRF)을 활용하였다.
• 다양한 프롬프트 템플릿을 사용한 T5 기반 텍스트 생성기를 활용하여 다양한 의미 표현을 생성한 후, 출력을 앙상블하여 최종 수학적 제작을 도출하였다.
• 학습 데이터의 다양성과 크기를 증가시키기 위해 네 가지 데이터 증강 기법—라벨별 토큰 교체(LwTR), 동의어 교체(SR), 언급어 교체(MR), 세그먼트 내 셔플링(SiS)—을 적용하였다.
• 입력 텍스트 내 엔티티를 명시적으로 표시하기 위해 엔티티 래퍼(예: 변수에 대한 <OBJ_NAME>)를 도입하여 모델의 주의 집중과 예측 정확도를 향상시켰다.
• 긴 시퀀스를 처리하고 성능을 향상시키기 위해 max_seq_length(600), max_output_length(750), training_epochs(50) 등의 모델 초모수를 최적화하였다.
• 데이터 증강, 다중 작업 학습, 엔티티 래핑의 영향을 평가하기 위해 아블레이션 스터디를 수행하였다.

실험 결과

연구 질문

• RQ1 단일 모델 대비 저자원 선형 프로그래밍 단어 문제에서 CRF 기반 앙상블 모델이 명시적 개체 인식 성능을 향상시키는가?
• RQ2 학습 데이터가 제한된 상황에서 LwTR, SR, MR, SiS와 같은 데이터 증강 기법이 모델 일반화 능력 향상에 얼마나 효과적인가?
• RQ3 입력 시퀀스에 엔티티 래퍼를 사용할 경우, 선형 프로그래밍 문제에서 변수와 파라미터를 정확히 식별하고 표현하는 데 모델의 능력이 향상되는가?
• RQ4 단일 T5 모델을 활용한 다중 작업 프롬프팅 전략이 수학적 의미 표현 생성의 품질과 일관성에 얼마나 기여하는가?
• RQ5 왜 모델 출력이 동일 엔티티의 여러 인스턴스를 모두 회수하지 못하는가? 이 문제는 어떻게 완화될 수 있는가?

주요 결과

• EnsembleCRF 방법은 단일 모델 대비 명시적 개체 인식 성능을 크게 향상시켰으며, 증강된 입력과 다중 작업 학습을 통합한 결과 선언 수준 정확도 83.5%를 달성하였다.
• LwTR, SR, MR, SiS를 활용한 데이터 증강은 학습 데이터의 다양성을 증가시켜 원래 학습 설정 대비 12.7%p의 정확도 향상을 이끌었으며(75.9%에서 83.5%로), 기여를 하였다.
• 엔티티 래퍼의 추가로 입력 시퀀스 길이가 590 토큰으로 증가하여 512 토큰 제한을 초과하였고, 이에 따라 max_seq_length를 600으로 조정해야 했으며, 이는 약간의 성능 저하를 초래했지만 더 나은 엔티티 국소화를 가능하게 하였다.
• 다양한 프롬프트를 사용한 다중 작업 프롬프팅 전략은 출력의 다양성과 일관성을 향상시켰지만, 동일 엔티티의 여러 인스턴스를 회수하는 데 여전히 도전 과제로 남아 있었다.
• 최종 모델은 개발 세트에서 83.5%의 선언 수준 정확도를 기록했으며, 테스트 세트에서 F1 점수 0.780을 기록하여 NL4Opt 경쟁에서 5위를 차지했고, 기준 BART 모델(F1=0.608)을 능가하였다.
• 개선에도 불구하고, 동일 엔티티의 여러 값이 존재할 경우 모든 인스턴스를 회수하지 못하는 문제로 인해 향후 연구에서는 다중 인스턴스 엔티티 검출에 대한 개선이 필요하다고 나타났다.