[논문 리뷰] SimulEval: An Evaluation Toolkit for Simultaneous Translation

Xutai Ma, Mohammad Javad Dousti외 3명|arXiv (Cornell University)|2020. 07. 31.

Natural Language Processing Techniques참고 문헌 15인용 수 6

한 줄 요약

SimulEval은 서버-클라이언트 아키텍처를 통해 지연 시간과 품질 평가를 표준화한 오픈소스 평가 툴킷으로, 동시성 텍스트 및 음성 번역 시스템을 평가하는 데 사용됩니다. 이는 사용자 정의 정책의 자동 평가를 가능하게 하며, 다양한 지연 시간 지표를 지원하고 실시간 디코딩 추적을 위한 시각화 인터페이스를 포함하여 시스템 및 프레임워크 간 일관되고 재현 가능한 벤치마킹을 보장합니다.

ABSTRACT

Simultaneous translation on both text and speech focuses on a real-time and low-latency scenario where the model starts translating before reading the complete source input. Evaluating simultaneous translation models is more complex than offline models because the latency is another factor to consider in addition to translation quality. The research community, despite its growing focus on novel modeling approaches to simultaneous translation, currently lacks a universal evaluation procedure. Therefore, we present SimulEval, an easy-to-use and general evaluation toolkit for both simultaneous text and speech translation. A server-client scheme is introduced to create a simultaneous translation scenario, where the server sends source input and receives predictions for evaluation and the client executes customized policies. Given a policy, it automatically performs simultaneous decoding and collectively reports several popular latency metrics. We also adapt latency metrics from text simultaneous translation to the speech task. Additionally, SimulEval is equipped with a visualization interface to provide better understanding of the simultaneous decoding process of a system. SimulEval has already been extensively used for the IWSLT 2020 shared task on simultaneous speech translation. Code will be released upon publication.

연구 동기 및 목표

• 텍스트 및 음성 번역 작업 간 동시 번역 모델에 대한 일관되고 표준화된 평가 절차의 부족을 해결하기 위해.
• 현재 연구 논문에서 일관되지도 않고 잘 문서화되어 있지 않은 지연 시간 지표 및 평가 워크플로우를 통합하기 위해.
• 다양한 모델과 프레임워크와 호환되는 일반적이고 확장 가능하며 사용하기 쉬운 평가 프레임워크를 제공하기 위해.
• 자동 평가와 동시 디코딩 과정의 상호작용 시각화를 모두 지원하기 위해.
• IWSLT 2020과 같이 테스트 데이터를 공유할 수 없는 共同 과제에서 공정하고 재현 가능한 벤치마킹을 가능하게 하기 위해.

제안 방법

• 툴킷은 클라이언트-서버 아키텍처를 사용합니다: 서버는 소스 입력(텍스트 또는 오디오)을 스트리밍하고 예측 결과를 수신하며, 클라이언트는 사용자가 정의한 정책에 따라 읽기 및 쓰기 작업을 수행합니다.
• 클라이언트의 에이전트 클래스는 디코딩 정책(예: wait-k, 트리거 기반)을 정의하고, 상태는 입력 진행 상황과 번역 생성을 추적합니다.
• 표준 품질 지표(BLEU, TER, METEOR)와 지연 시간 지표(AP, AL, DAL)를 내장 지원하며, 시간 기반 분할을 활용해 음성 입력에 적합하게 조정됩니다.
• 사용자 정의 전처리(예: 토큰화, 특징 추출) 및 후처리(예: 디토큰화, 서브워드 병합)를 지원합니다.
• 외부 클라이언트와의 통합을 위한 RESTful API와 실시간 디코딩 과정을 시각화할 수 있는 웹 기반 인터페이스를 제공합니다.
• 단일 명령어로 평가를 트리거하며, 결과 및 중간 출력은 분석과 재시작을 위해 저장됩니다.

실험 결과

연구 질문

• RQ1 어떻게 동시성 텍스트 및 음성 번역을 위한 표준화되고 일관된 평가 프레임워크를 설계할 수 있는가?
• RQ2 지연 시간 지표를 텍스트 번역에서 음성 번역으로 적응시키는 데 발생하는 주요 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ3 클라이언트-서버 아키텍처는 테스트 데이터를 공유하지 않으면서도 공동 과제에서 공정하고 재현 가능한 평가를 어떻게 가능하게 하는가?
• RQ4 SimulEval은 평가 일관성을 유지하면서 다양한 모델과 프레임워크를 얼마나 넓게 지원할 수 있는가?
• RQ5 디코딩 과정의 시각화가 동시 번역 시스템의 이해 및 디버깅을 얼마나 향상시킬 수 있는가?

주요 결과

• SimulEval은 IWSLT 2020 동시 음성 번역 공동 과제에서 참가자들의 제출물을 평가하는 데 성공적으로 사용되어 다양한 시스템 간 일관된 평가를 보장했습니다.
• 툴킷은 시간 기반 분할을 적용한 음성 입력 환경에서도 평균 비율(AP), 평균 레이팅(알링) 및 미분 가능한 평균 레이팅(DAL)과 같은 지연 시간 지표를 일관되게 계산할 수 있음을 입증했습니다.
• 서버-클라이언트 아키텍처 덕분에 조직자는 테스트 데이터를 폭 드러내지 않고도 도커 컨테이너 내에서 시스템을 평가할 수 있었으며, 평가의 무결성이 유지되었습니다.
• 시각화 인터페이스는 실시간으로 디코딩 과정을 추적할 수 있게 해주어 사용자가 정책 행동과 시스템 행동을 분석하는 데 도움을 주었습니다.
• 툴킷은 사용자 정의 에이전트, 전처리 및 후처리를 지원하여 다양한 모델과 프레임워크와의 광범위한 호환성을 확보했습니다.
• 품질 및 지연 시간 지표를 포함한 평가 결과는 분석 및 재현 가능성을 위해 구조화된 출력 디렉터리에 저장됩니다.