[논문 리뷰] Slice-based Learning: A Programming Model for Residual Learning in Critical Data Slices

Vincent S. Chen, Sen Wu외 3명|arXiv (Cornell University)|2019. 09. 13.

Machine Learning and Algorithms참고 문헌 37인용 수 23

한 줄 요약

이 논문은 슬라이스 기반 학습(SBL)을 제안하며, 슬라이싱 함수(SF)와 주의 메커니즘을 통해 슬라이스 전용 전문가 표현을 학습함으로써 중요한 데이터 하위집합(슬라이스)에서 모델 성능을 향상시키는 프로그래밍 모델이다. SBL은 자연어 처리, 컴퓨터 비전, 산업 데이터셋 전반에서 슬라이스에서 최대 19.0 F1 향상과 전체적으로 4.6 F1 향상을 달성했으며, 슬라이스당 5–7%의 상대적 파라미터 증가만으로도 파라미터 효율성을 유지하면서 MoE 및 약한 감독 기반 베이스라인을 능가한다.

ABSTRACT

In real-world machine learning applications, data subsets correspond to especially critical outcomes: vulnerable cyclist detections are safety-critical in an autonomous driving task, and "question" sentences might be important to a dialogue agent's language understanding for product purposes. While machine learning models can achieve high quality performance on coarse-grained metrics like F1-score and overall accuracy, they may underperform on critical subsets---we define these as slices, the key abstraction in our approach. To address slice-level performance, practitioners often train separate "expert" models on slice subsets or use multi-task hard parameter sharing. We propose Slice-based Learning, a new programming model in which the slicing function (SF), a programming interface, specifies critical data subsets for which the model should commit additional capacity. Any model can leverage SFs to learn slice expert representations, which are combined with an attention mechanism to make slice-aware predictions. We show that our approach maintains a parameter-efficient representation while improving over baselines by up to 19.0 F1 on slices and 4.6 F1 overall on datasets spanning language understanding (e.g. SuperGLUE), computer vision, and production-scale industrial systems.

연구 동기 및 목표

• 전반적인 성능을 떨어뜨리지 않고도 희귀한 경우가 많은 중요한 데이터 하위집합(슬라이스)에서의 모델 성능 향상을 해결하기 위해.
• 사용자가 슬라이싱 함수(SF)를 통해 중요한 데이터 하위집합을 지정할 수 있는 파라미터 효율적인 프로그래밍 모델을 제공하기 위해.
• 기본 예측과 슬라이스 전용 예측 간 잔차를 주의 메커니즘을 사용해 학습함으로써 안정적이고 슬라이스 인식 예측을 가능하게 하기 위해.
• 혼합 전문가 모델이나 하드 파라미터 공유를 통한 다중 작업 학습과 달리, 수백 개의 슬라이스에 대해 파라미터 증가가 금지되지 않도록 효과적으로 확장하기 위해.
• 아키텍처 수정 없이 최신 모델들(예: BERT, ResNet)과 통합 가능하게 하여 실제 산업 및 벤치마크 데이터셋에서 성능을 향상시키기 위해.

제안 방법

• 슬라이싱 함수(SF)는 사용자가 정의한 히우리스틱으로, 입력 데이터를 중요한 데이터 하위집합(슬라이스)에 대한 이진 지표로 매핑한다.
• 슬라이스 잔차 주의 모듈(SRAMs)은 기본 모델의 예측과 슬라이스 전용 예측 간 잔차를 학습하여 주의 기반 융합을 통해 슬라이스 전문가 표현을 통합한다.
• 모델은 공유된 백본 파라미터를 사용해 슬라이스 전문가 표현을 초기화함으로써 파라미터 효율성을 유지한다.
• 주의 메커니즘이 슬라이스 소속성과 예측 신뢰도에 따라 슬라이스 전문가 표현을 재가중하여 슬라이스 인식 최종 예측을 생성한다.
• 이 접근법은 아키텍처에 종속되지 않으며, BERT나 ResNet을 포함한 어떤 신경망 백본에도 적용 가능하다.
• SBL은 SF로부터의 약한 감독을 사용하고 명시적 레이블링을 피함으로써, 노이즈가 있거나 완벽하지 않은 슬라이스 정의가 존재하는 실세계 환경에서의 구현에 적합하다.

실험 결과

연구 질문

• RQ1 전반적인 성능을 떨어뜨리지 않고도 중요한 데이터 슬라이스에서의 모델 성능 향상을 위한 프로그래밍 모델을 설계할 수 있는가?
• RQ2 수백 개의 슬라이스가 포함된 상황에서 파라미터 효율성을 유지하면서 슬라이스 전용 성능을 어떻게 향상시킬 수 있는가?
• RQ3 슬라이스 전문가 표현의 주의 기반 융합 방식이 전통적인 다중 작업 학습 또는 혼합 전문가 모델보다 슬라이스 전용 성능에서 뛰어나게 작용할 수 있는가?
• RQ4 SBL은 실세계 벤치마크인 SuperGLUE와 산업 데이터셋에서 최신 기술 모델을 얼마나 향상시킬 수 있는가?
• RQ5 주의 메커니즘 내에서 깊은 특징에 액세스할 경우, 히우리스틱 투표에만 의존하는 약한 감독 방법보다 성능상의 이점을 얻을 수 있는가?

주요 결과

• SBL은 BERT-base를 사용하여 SuperGLUE 벤치마크에서 개별 슬라이스에서 최대 19.0 F1 향상을 기록했고, 전체적으로도 4.6 F1 향상을 달성했다.
• 자율 주행 차량 데이터에서 SBL은 맥락 의존적 슬라이스(예: 버스 또는 신호등 존재 여부)에서 최대 15.6 F1 향상을 기록했다.
• SBL은 슬라이스당 파라미터 수가 약 10배 이상 많은 MoE보다도 성능이 유사하거나 뛰어나면서도 슬라이스당 5–7%의 상대적 파라미터 증가만으로도 승리했다.
• 약한 감독 작업(Spouses 및 CDR)에서 SBL은 각각 전체적으로 +0.9 및 +1.3 F1 향상을 기록했고, 히우리스틱으로 정의된 슬라이스에서 최대 15.9 F1 향상을 달성했다.
• SuperGLUE 제출에서 SBL은 Commitment Bank(CB) 벤치마크에서 평균 F1을 +3.8, 정확도를 +2.8 향상시켰다.
• SBL은 자연어 처리(SuperGLUE), 컴퓨터 비전(CyDet), 산업 규모 시스템 등 다양한 분야에서 일관된 성능 향상을 보이며 일반화 가능성과 확장성의 우수성을 입증했다.