[논문 리뷰] Towards a responsible machine learning approach to identify forced labor in fisheries

Rocío Joo, Gavin McDonald외 5명|arXiv (Cornell University)|2023. 02. 03.

Marine animal studies overview인용 수 5

한 줄 요약

이 논문은 선박 특성과 자동 식별 시스템(AIS) 이동 패턴을 분석하여 어업에서의 강제노역을 식별하기 위해 양성-무 nhãn 학습(positive-unlabeled learning)을 활용한 책임 있는 기계학습 접근법을 제안한다. 모델은 보고된 강제노역 사례에 대해 89%의 재현율을 기록했으며, 양호한 노동 조건을 인증받은 선박에 대해 98%의 특이성을 확보했으며, 최대 28%의 선박이 강제노역을 사용할 수 있다고 추정한다. 특히 문어 저격어선 및 장구어선 헤엄에서 높은 비율을 차지한다.

ABSTRACT

Many fishing vessels use forced labor, but identifying vessels that engage in this practice is challenging because few are regularly inspected. We developed a positive-unlabeled learning algorithm using vessel characteristics and movement patterns to estimate an upper bound of the number of positive cases of forced labor, with the goal of helping make accurate, responsible, and fair decisions. 89% of the reported cases of forced labor were correctly classified as positive (recall) while 98% of the vessels certified as having decent working conditions were correctly classified as negative. The recall was high for vessels from different regions using different gears, except for trawlers. We found that as much as ~28% of vessels may operate using forced labor, with the fraction much higher in squid jiggers and longlines. This model could inform risk-based port inspections as part of a broader monitoring, control, and surveillance regime to reduce forced labor. * Translated versions of the English title and abstract are available in five languages in S1 Text: Spanish, French, Simplified Chinese, Traditional Chinese, and Indonesian.

연구 동기 및 목표

• 한정된 점검과 신뢰할 수 없는 보고로 인해 어업에서의 강제노역을 식별하는 데 발생하는 핵심적 격차를 해소한다.
• 가용한 선박 데이터를 활용해 강제노역 사례의 상한선을 추정할 수 있는 기계학습 모델을 개발한다.
• 부정 사례와 다양한 선박 유형(다른 국적기 및 어구 유형 포함)을 통합함으로써 모델의 공정성과 신뢰성을 향상시킨다.
• 데이터 기반의 위험 우선순위 설정을 통해 港 점검 및 모니터링, 통제 및 감시(MCS) 체계를 지원한다.
• 모델 성능을 다양한 선박 집단에서 평가하고 분류 결과의 편향을 최소화함으로써 책임 있는 AI 실천을 확보한다.

제안 방법

• 완전히 레이블링된 부정 데이터에 의존하지 않도록 하기 위해 21건의 확인된 양성 사례와 66,336건의 무 nhãn 선박 년도 데이터를 기반으로 양성-무 nhãn(PU) 학습을 적용한다.
• 자동 식별 시스템(AIS) 데이터에서 유도된 선박 특성(예: 국적, 어구 유형, 크기)과 이동 패턴(예: 화물 이송, 항만 방문, 해상 체류 시간)을 모델의 특성으로 사용한다.
• 행동적 및 구조적 선박 특성 기반으로 강제노역 발생 확률을 추정하기 위해 감독 학습 프레임워크와 PU 학습 알고리즘을 적용한다.
• 모델 성능을 검증하기 위해 양호한 노동 조건을 인증받은 선박을 부정 사례의 대체 지표로 사용하여 높은 특이성을 확보한다.
• 국적기 및 어구 유형에 따른 공정성 평가를 수행하여 모델의 재현율과 정밀도에 대한 격차를 평가한다.
• 신규 점검 데이터와 확장된 선박 유형을 반영하여 모델를 반복적으로 업데이트하고 개선함으로써 일반화 능력 향상과 편향 감소를 도모한다.

실험 결과

연구 질문

• RQ1 AIS 및 선박 특성을 활용해 전 세계 어선 헤엄에서 강제노역의 상한선을 효과적으로 추정할 수 있는 양성-무 nhãn 기계학습 모델은 가능한가?
• RQ2 모델 성능은 국적기 및 어구 유형에 따라 어떻게 달라지며, 특히 재현율과 공정성 측면에서 어떤가?
• RQ3 확인된 부정 레이블이 없더라도 AIS에서 유도된 이동 패턴과 선박 특성이 강제노역 행동을 얼마나 잘 예측할 수 있는가?
• RQ4 이러한 모델은 위험 기반 항만 점검과 모니터링, 통제 및 감시(MCS) 체계를 어떻게 향상시킬 수 있는가?
• RQ5 지역 및 어구 유형 간 모델 성능 격차는 공정한 집행 및 정책 시행에 어떤 영향을 미치는가?

주요 결과

• 모델은 알려진 강제노역 사례 식별에 대해 89%의 재현율을 기록하여 보고된 사례에 대한 강력한 탐지 능력을 보였다.
• 모델은 98%의 특이성을 보였으며, 양호한 노동 조건을 인증받은 98%의 선박을 강제노역 사례로 잘못 분류하지 않았다.
• 다른 선박 유형과 지역에서는 재현율이 높았지만, 어선어선의 경우 성능이 뚜렷이 낮았다.
• 어림론 28%의 어업 선박이 강제노역을 사용하고 있을 것으로 추정되며, 특히 문어 저격어선과 장구어선 헤엄에서 높은 비율을 차지한다.
• 어구 유형에 따라 모델 성능이 달라졌으며, 장구어선과 문어 저격어선에서 더 높은 위험도가 탐지되어 표적 점검 전략이 효과적일 수 있음을 시사한다.
• 공정성 평가 결과 국적기 및 어구 유형 간 모델 성능 격차가 확인되어 지속적인 편향 모니터링과 모델 개선의 필요성을 제기한다.