[논문 리뷰] Analyzing the Use of Influence Functions for Instance-Specific Data Filtering in Neural Machine Translation

Tsz Kin Lam, Eva Hasler외 1명|arXiv (Cornell University)|2022. 10. 24.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 신경 기계 번역(NMT)에서 인스턴스별 데이터 필터링을 위한 영향 함수(IF)를 조사하며, 기존 IF보다 성능을 향상시키기 위해 두 가지 대비적 확장 기법을 제안한다. IF는 정규 표현식을 초월해 오류가 발생한 학습 예제를 식별할 수 있음을 보여주지만, 네트워크 구성 요소에 민감하고 강건한 임계값 전략이 부족하여 자동화가 어렵다는 점을 밝혀낸다.

ABSTRACT

Customer feedback can be an important signal for improving commercial machine translation systems. One solution for fixing specific translation errors is to remove the related erroneous training instances followed by re-training of the machine translation system, which we refer to as instance-specific data filtering. Influence functions (IF) have been shown to be effective in finding such relevant training examples for classification tasks such as image classification, toxic speech detection and entailment task. Given a probing instance, IF find influential training examples by measuring the similarity of the probing instance with a set of training examples in gradient space. In this work, we examine the use of influence functions for Neural Machine Translation (NMT). We propose two effective extensions to a state of the art influence function and demonstrate on the sub-problem of copied training examples that IF can be applied more generally than handcrafted regular expressions.

연구 동기 및 목표

• NMT에서 영향 함수(IF)를 활용한 인스턴스별 데이터 필터링의 가능성을 탐색하여, 문제 있는 학습 예제를 제거함으로써 오류 수정을 목표로 한다.
• NMT에서 기존 IF의 한계를 해결하기 위해 검색 성능을 향상시키는 개선된 방법을 제안한다.
• 영향 함수가 어휘 형태가 다를지라도 유사한 오류를 가진 학습 예제를 식별하는 데에 규칙 기반 필터링(예: 정규 표현식)을 능가할 수 있는지 평가한다.
• 특히 임계값 설정과 기울기 구성 요소 민감도에 의해 영향을 받는 바, IF 기반 필터링의 자동화 과정에서 발생하는 실용적 과제를 조사한다.

제안 방법

• 영향 함수의 계산 비용을 줄이기 위해 TracIn을 적용하며, 헤시안 역행렬의 역산을 피하고 모델 체크포인트 간 기울기의 내적을 사용해 영향을 근사한다.
• 영향은 C개의 체크포인트에서 평균 기울기 유사도로 계산된다: $\mathcal{I}_{\text{TracIn}}(z,z') = \frac{1}{C}\sum_{i=1}^{C} \nabla_\theta L(z')^T \nabla_\theta L(z)$.
• 두 가지 대비적 방법을 제안한다: GradDiff(기울기 차이)와 GradHYP(가설과의 기울기 유사도)이며, 이는 소스 임베딩과 전체 모델 파라미터와 같은 특정 네트워크 구성 요소에 적용된다.
• 실제 고객이 보고한 오류를 시뮬레이션하기 위해 제어된 번역 오류를 가진 합성 학습 예제를 구성하여 IF 성능을 통제적으로 평가한다.
• 영향 점수는 각 탐색 예제별로 순위를 매기며, 영향 값의 연속된 차이에 대한 군집 분석을 통해 임계값 전략을 평가한다.

실험 결과

연구 질문

• RQ1 영향 함수는 NMT에서 특정 번역 오류의 원인이 되는 학습 인스턴스를 효과적으로 복구할 수 있는가?
• RQ2 선택한 네트워크 구성 요소(예: 소스 임베딩 대비 전체 모델)에 따라 NMT에서 영향 함수의 성능에 어떤 영향을 미치는가?
• RQ3 대비적 영향 함수 변형(예: GradDiff 및 GradHYP)은 NMT에서 기존 IF보다 검색 성능을 향상시킬 수 있는가?
• RQ4 영향 함수 기반 필터링을 자동화하는 것은 가능한가, 아니면 오류 패tern에 민감한 임계값 설정과 구성 요소 선택이 너무 복잡한가?

주요 결과

• 기존 영향 함수는 특히 전체 모델 기울기를 사용할 경우 NMT에서 낮은 검색 성능을 보이며, 이는 표준 IF로는 이 작업에 부적합함을 시사한다.
• 기울기 유사도(영향)는 선택한 네트워크 구성 요소에 매우 민감하며, 전체 모델 기울기보다 소스 임베딩에서 더 안정적이고 의미 있는 영향 점수를 도출한다.
• 제안된 대비적 영향 함수 방법(GradDiff 및 GradHYP)은 모든 테스트된 기울기 구성 요소와 파라미터 공유 설정에서 검색 성능을 크게 향상시킨다.
• 어휘적으로 다를지라도 복사된 소스 문장을 가진 학습 예제들은 유사한 기울기를 보이며, 이는 정규 표현식이 포착하지 못하는 오류 패턴까지도 IF가 탐지할 수 있음을 보여준다.
• IF 기반 필터링의 효과적인 자동화는 아직 어려운데, 상위 몇 개의 인스턴스 이후 영향 값이 급격히 감소하기 때문에 자동 임계값 설정이 어렵기 때문이다.
• 영향 값의 '팔꿈치' 현상은 첫 50개 이내에서 발생하며, 이는 영향력이 큰 학습 예제가 소수에 불과하지만, 이 지점을 신뢰성 있게 식별하는 것은 어렵다는 것을 시사한다.