[논문 리뷰] FROTE: Feedback Rule-Driven Oversampling for Editing Models

Öznur Alkan, Dennis Wei외 4명|arXiv (Cornell University)|2022. 01. 04.

Data Quality and Management인용 수 4

한 줄 요약

FROTE는 사용자가 제공한 피드백 규칙에 기반해 합성 인스턴스를 오버샘플링하여 타뷸라 데이터를 위한 기계학습 모델을 편집하는 새로운 데이터 증강 기법이다. 이는 모델의 결정 경계를 업데이트된 정책과 일치시키는 데 기여하며, 영향을 받지 않은 데이터 세그먼트에서 정확도가 최소한으로 감소하는 조건에서 성능을 향상시켜, 모델에 의존하지 않는 사전 처리 방식을 통해 규칙 기반 편집을 다루는 최첨단 기법들을 능가한다.

ABSTRACT

Machine learning models may involve decision boundaries that change over time due to updates to rules and regulations, such as in loan approvals or claims management. However, in such scenarios, it may take time for sufficient training data to accumulate in order to retrain the model to reflect the new decision boundaries. While work has been done to reinforce existing decision boundaries, very little has been done to cover these scenarios where decision boundaries of the ML models should change in order to reflect new rules. In this paper, we focus on user-provided feedback rules as a way to expedite the ML models update process, and we formally introduce the problem of pre-processing training data to edit an ML model in response to feedback rules such that once the model is retrained on the pre-processed data, its decision boundaries align more closely with the rules. To solve this problem, we propose a novel data augmentation method, the Feedback Rule-Based Oversampling Technique. Extensive experiments using different ML models and real world datasets demonstrate the effectiveness of the method, in particular the benefit of augmentation and the ability to handle many feedback rules.

연구 동기 및 목표

• 대출 승인이나 청구 관리와 같은 분야에서 새로운 규칙으로 인해 결정 경계가 이동할 경우 모델를 업데이트하는 데 도전하는 문제를 해결하기 위해.
• 전문가 피드백을 직접 모델 훈련에 통합하여 비용이 많이 들거나 느린 수동 재라벨링 또는 데이터 수집에 의존도를 줄이기 위해.
• 피드백 규칙을 훈련 데이터에 통합하기 위해 데이터 증강을 활용하는 모델에 의존하지 않는 사전 처리 솔루션을 제안하기 위해.
• 해석 가능한 부울 피드백 규칙을 통해 효율적이고 투명하며 감사 가능한 모델 편집을 가능하게 하기 위해.
• 피드백 규칙의 영향을 받지 않는 데이터 세그먼트에서 성능 저하를 최소화하면서도 새로운 정책 경계와의 일치도 향상시키기 위해.

제안 방법

• FROTE는 사용자 피드백 규칙에 따라 기존 훈련 데이터를 수정함으로써 시작되며, 허용되는 경우 인스턴스의 재라벨링 또는 제거를 포함한다.
• 그 후 SMOTE에 영감을 얻은 규칙 인식 오버샘플링 전략을 적용하여 소수성 또는 규칙 위반 영역 근처의 합성 인스턴스를 생성한다.
• 기본 인스턴스 선택은 무작위 샘플링 또는 특성 공간의 근접도와 규칙 제약 조건을 고려하는 정보 기반 전략(IP)을 사용한다.
• 선택된 기본 인스턴스와 그들의 k개 이웃 간의 보간을 통해 합성 인스턴스를 생성함으로써 피드백 규칙과의 일치를 보장한다.
• 증강된 데이터셋은 표준 분류기로 재학습되며, 이로 인해 FROTE는 모델에 의존하지 않으며 블랙박스 모델에도 적용 가능하다.
• 영향을 받지 않은 데이터 세그먼트의 변경을 최소화함으로써 데이터 증강과 모델 무결성 간의 균형을 이루며, 전체 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 데이터 증강을 통해 피드백 규칙을 훈련 데이터에 효과적으로 통합하여, 다시 시작하지 않고도 모델의 결정 경계를 업데이트할 수 있는가?
• RQ2 FROTE는 사용자가 지정한 피드백 규칙에 따라 모델 예측을 얼마나 잘 일치시키는가? 최첨단 기법들과 비교해 볼 때 어떤가?
• RQ3 정책 업데이트가 필요한 영역에서 인스턴스 수가 매우 적을 경우, 데이터 증강이 모델 성능 향상에 얼마나 기여하는가?
• RQ4 FROTE는 새로운 규칙과의 일치도를 향상시키는 동안 영향을 받지 않은 데이터 세그먼트에서의 모델 성능을 유지하는가?
• RQ5 기본 인스턴스 선택 전략(무작위 대비 IP)이 증강 과정의 효율성과 효과성에 어떤 영향을 미치는가?

주요 결과

• FROTE는 다양한 데이터셋과 모델에서 평균 순위 정확도(MRA)와 F-score를 크게 향상시키며, 다양한 구성에서 MRA 향상 폭은 0.002에서 0.076까지 다양하다.
• 특히 다중 피드백 규칙 처리 및 희소 데이터 영역에서 최첨단 기법들을 능가하는 성능을 달성한다.
• IP 기반의 기본 인스턴스 선택 전략은 무작위 선택 대비 더 적은 수의 합성 인스턴스를 추가하면서도 동일하거나 더 나은 성능을 유지한다.
• 증강 크기의 특정 임계점 이후 성능 저하가 시작되는 명확한 전환점이 존재하며, 이는 규칙 일치도와 데이터 품질 사이의 상충 관계를 시사한다.
• 무작위 및 IP 선택 전략 모두 MRA를 향상시키며 F-score를 크게 감소시키지 않아, 다양한 조건에서 기본 인스턴스 선택에 대한 강건성을 보여준다.
• 해석 가능한 부울 피드백 규칙을 통해 투명하고 감사 가능한 모델 업데이트를 지원함으로써 거버넌스 및 라인재 추적을 가능하게 한다.