[논문 리뷰] Understanding Programmatic Weak Supervision via Source-aware Influence Function

Jieyu Zhang, Haonan Wang외 2명|arXiv (Cornell University)|2022. 05. 25.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 프로그래밍형 약한 감독(PWS)에서 학습 손실을 분해하여 개별 구성 요소—예를 들어 소스 투표, 레이블링 함수(LFs), 학습 데이터—가 최종 모델의 행동에 미치는 影響을 추정하는 새로운 방법인 소스 인식 영향 함수(SIF)를 제안한다. 레이블 생성 과정을 활용하고 재가중 및 가중치 이동 변형을 사용함으로써 SIF는 세밀한 디버깅, 잘못된 레이블 식별(기존 기준 대비 9–37% 향상), 그리고 일반화 성능 향상(일반적인 IF 대비 13–24% 향상)을 가능하게 한다.

ABSTRACT

Programmatic Weak Supervision (PWS) aggregates the source votes of multiple weak supervision sources into probabilistic training labels, which are in turn used to train an end model. With its increasing popularity, it is critical to have some tool for users to understand the influence of each component (e.g., the source vote or training data) in the pipeline and interpret the end model behavior. To achieve this, we build on Influence Function (IF) and propose source-aware IF, which leverages the generation process of the probabilistic labels to decompose the end model's training objective and then calculate the influence associated with each (data, source, class) tuple. These primitive influence score can then be used to estimate the influence of individual component of PWS, such as source vote, supervision source, and training data. On datasets of diverse domains, we demonstrate multiple use cases: (1) interpreting incorrect predictions from multiple angles that reveals insights for debugging the PWS pipeline, (2) identifying mislabeling of sources with a gain of 9%-37% over baselines, and (3) improving the end model's generalization performance by removing harmful components in the training objective (13%-24% better than ordinary IF).

연구 동기 및 목표

• 프로그래밍형 약한 감독(PWS) 파이프라인에서 레이블링 함수(LFs), 소스 투표, 학습 데이터와 같은 개별 구성 요소의 영향을 이해할 수 있는 해석 도구의 부족 문제를 해결하기 위해.
• 기존 영향 함수(IF)의 한계를 극복하기 위해, 약한 레이블이 원자 단위로 취급되며 PWS에서의 소스 수준 생성 과정을 忽略하는 문제를 해결하기 위해.
• 기존 IF의 해석 가능성과 순위 유지 능력을 유지하면서도, 일반적이고 레이블 모델에 종속되지 않는 프레임워크를 개발하여 PWS에서 구성 요소 수준의 영향 추정을 가능하게 하기 위해.
• 모델 오류 디버깅, 잘못된 레이블링 함수 식별, 그리고 표적 학습 손실 변형을 통한 모델 일반화 성능 향상과 같은 실용적 응용을 가능하게 하기 위해.

제안 방법

• 각 (데이터, 소스, 클래스) 튜플에 관련된 항목으로 PWS의 학습 손실을 분해하여, $i$-번째 데이터 포인트, $j$-번째 레이블링 함수, $c$-번째 클래스에 대한 영향을 $ (i,j,c) $-효과라 명명한다. 이를 통해 각 레이블링 함수 $j$ 가 데이터 포인트 $i$ 에 대해 클래스 $c$ 에 대해 기여하는 바를 모델링한다.
• 특정 $ (i,j,c) $-효과의 기여도를 학습 목표에서 수정함으로써 소스 인식 영향 점수를 계산하는 두 가지 변형 기반 방법—재가중 및 가중치 이동—을 제안한다.
• 수득한 영향 점수를 활용해 고차원 구성 요소의 영향을 추정한다: 클래스 기반으로 집계하여 개별 소스 투표, 데이터 및 클래스 기반으로 집계하여 레이블링 함수, 모든 소스 및 클래스 기반으로 집계하여 학습 데이터.
• 영향 점수의 가산성을 활용하여 PWS 파이프라인의 다양한 구성 요소에서 효율적이고 해석 가능한 영향 추정을 가능하게 한다.
• 영향 점수의 미분 가능성과 확장 가능성을 확보하기 위해, 비선형성을 항등 함수로 대체하는 레이블 모델 근사 기법을 적용함으로써 성능 손실를 최소화하면서도 효과적인 영향 계산을 가능하게 한다.
• 표준 IF의 순위 유지 능력을 확인하기 위해, 표준 IF와의 스피어만 순위 상관관계를 사용하여, 표본 수 13개의 데이터셋(표본, 텍스트, 이미지 도메인 포함)에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 프로그래밍형 약한 감독 파이프라인에서 개별 레이블링 함수 투표가 최종 모델 예측에 미치는 영향을 어떻게 추정할 수 있는가?
• RQ2 모델 잘못 예측를 진단할 때, 표준 데이터 수준의 영향 함수보다 소스 인식 영향 함수가 더 뛰어난 해석 가능성을 제공할 수 있는가?
• RQ3 기존 기준 대비 소스 인식 IF는 잘못된 레이블링 함수를 얼마나 잘 식별할 수 있는가?
• RQ4 소스 인식 IF에 기반한 세밀한 학습 손실 변형이 최종 모델의 일반화 성능 향상에 기여할 수 있는가?
• RQ5 제안된 방법은 구성 요소 수준의 영향 추정을 가능하게 하면서도, 표준 영향 함수의 순위 유지 능력을 유지하는가?

주요 결과

• 소스 인식 IF는 표준 데이터 수준의 영향 함수와 스피어만 순위 상관관계가 0.71–0.99로 나타나 영향 순위 유지 능력이 뛰어나다는 것을 확인하였다.
• 표준 IF가 데이터 포인트에 영향을 잘못 기여한 것으로 기록할 수 있는 반면, 소스 인식 IF는 가장 영향력이 큰 레이블링 함수나 소스 투표를 식별함으로써 더 정밀한 모델 오류 디버깅이 가능하다.
• 여러 데이터셋에서 F1 점수 기준으로 기존 기준 대비 9%–37% 향상되어 잘못된 레이블링 함수 식별 성능이 뛰어나다.
• 소스 인식 IF에 기반한 학습 목표 변형을 통해 일반적인 IF 및 그룹 IF 대비 테스트 손실을 13%–24% 향상시켰다.
• 비선형성에 대해 항등 함수를 사용한 레이블 모델 근사 기법은 성능 저하 평균이 미미한 가운데 효과적이고 확장 가능한 영향 계산을 가능하게 하였다.
• 이 방법은 레이블 모델의 선택에 관계없이 일반적이며, 다양한 PWS 파이프라인과 다른 레이블 모델링 기법에 적용 가능하다.